本章介绍python文本提取之re正则表达式,主要函数和知识点有:re.findall(),re.sub(),re.match(),re.search(),各种正则符号,打组,贪婪与非贪婪等。
为了测试正则表达式,首先生成一段假信息用于测试,不懂可以看我的faker篇。
import faker
f = faker.Faker('zh_CN')
def data_line():
name = f.name()
phone = f.phone_number()
job = f.job()
address_yb = f.address()
address = address_yb.split(' ')[0]
bm = address_yb.split(' ')[1]
data = f'姓名:{name} 电话:{phone} 工作:{job} 地址:{address} 邮政编码:{bm} '
return data
data = ''
for i in range(5):
data = data + data_line()
print(data)
图1 用fake生成的假信息
关于正则表达式需要记住的一些符号,其实也不必特意去记,反而容易忘。多用,自然就记得了。为了方便,我把意义相反或者相近的写一块,用中文“,”隔开。
符号1,符号2
符号1解释。符号2解释
[],[^]
字符种类,提取出现在[]中的任意字符。后者相反,都不提取
[0-9a-zA-Z],[^0-9a-zA-Z]
所有0-9a-zA-Z元素。后者相反
\d,\D
\d所有的数字(相当于[0-9])。
\D所有的非数字(相当于[^0-9])
\w,\W
\w中文下划线数字英文(相当于[0-9a-zA-Z_])。\W与\w相反,特殊字符,如 $、&、空格、\n、\t等
\s,\S
\s所有空白的字符(如 \t\n\r\f\v,相当于[ \t\n\r\f\v])。\S相反,所有非空白字符
{min,max}、{num}
{min,max}只提取符合条件的连续min-max个元素。{num}只提取符合条件的连续num个元素
[]+,\d+
都为连续匹配,前者为连续匹配[]内任意字符,后者连续匹配所有数字
'excel*','excel+','excel?'
*前面的一个字符l匹配0次或者无限次。+前面的一个字符l匹配1次或者无限次。?前面的一个字符l匹配0次或者1次
^,$
指定从开头开始符合条件的数。指定结尾是符合条件的数(与第一个的区别是它只写在''的最前面或者最后面,而第一个是写在[]里的)
re.I
忽略大小写 IGNORECASE
.
.{num}
.*
.+
.取一个元素(全部取完 每个元素分开)。
.{num}取前num位(一个)。
后二皆整体取全
(?)
()打组,组内的?表示非贪婪模式
千言万语说不清,我们用re.findall()函数来实操一下。
1. re.findall(pattern, string, flags=0)
查找全部符合pattern条件的元素。
pattern:条件表达式
string:被提取的字符串
flags:控制正则表达式的匹配方式,如是否区分大小写,多行匹配等
(1)提取任意字符[]
import re
a = re.findall('[0-9]',data)
b = re.findall('[0-9]+',data)
print('输出a:\n',a)
print('输出b:\n',b)
图2 [0-9]与[0-9]+
这里先用re.findall()函数学习上面表格的内容,先学会条件表达式,再跟着学其他函数。(提醒鼠标滑得快的朋友,data在上面有定义过)
[]表示匹配[]里任意字符,这里[0-9]表示匹配0-9(包含0和9)中任意一个字符,说任意一个,即把匹配到的字符每一个作为列表的一个元素,如输出a。当在[]外面加上+后,表示连续匹配,遇到连续的0-9数字,它会作为一个整体去输出,如输出b。
不止0-9,如果想提取其他,也可以直接写在[]中,如想提取0-9、A-Z、a-z和省字:
a = re.findall('[0-9A-Za-z省]',data)
print(a) <