一.正则表达式概述
1.正则表达式定义
1.1 定义
- 使用字符串描述、匹配一系列符合某个规则的字符串
1.2 了解
- 普通字符:大小写字母、数字、标点符号及一些其它符号
- 元字符:在正则表达式中具有特殊意义的专用字符
1.3 层次分类
- 基础正则表达式
- 扩展正则表达式
- 编程语言支持的高级正则表达式
1.4 linux三剑客(grep sed awk)支持的正则表达式
- shell是不支持正则表达式的(shell支持的是通配符)。shell中的正则表达式只有个别命令支持的,一般常用的是Linux三剑客
支持正则的shell命令 | 正则类型 |
---|---|
grep | 默认使用基本正则表达式(BRE)(要使用扩展正则需要加转义字符) |
egrep 或 grep -E | 使用扩展的正则表达式(ERE) |
sed | 默认使用基本正则表达式(BRE) |
awk | 使用扩展正则表达式(ERE) |
2.基础正则表达式的元字符
基础正则表达式是常用的正则表达式部分
\ | 表示转义字符,去掉特殊符号的特殊含义 |
. | 匹配任意单个字符 |
^ | 匹配字符串开头的位置 |
$ | 匹配字符串末尾的位置 |
* | 匹配前面的字符出现0~+∞ |
[list] | 匹配list列表中的一个字符(列表中只要有一个符合即可) |
[^list] | 匹配任意非list列表中的一个字符 |
{n} | 匹配前面的子表达式n次 |
{n,} | 匹配前面的子表达式最少n次 |
{,n} | 匹配前面的子表达式最多n次 |
{n,m} | 匹配前面的子表达式n到m次 |
[ ] | 代表单个字符 |
\? | 1次或0次 |
^$ | 空行 |
.* | 1~+∞ |
2.1 转义字符的运用
2.1.1 将特殊含义的字符转换为普通字符的含义
被转义的特殊字符 | 转义前的含义作用 |
\ = | 具有赋值的作用,或则进行字符判断 |
\ ! | 取反 |
\ & | 单个&符可以将命令挂在后台上,两个是逻辑符号且的作用 |
\ $ | 取值变量的作用 |
2.1.2 将普通字符转换为特殊作用的字符
被赋予新含义的普通字符 | 现在拥有的作用 |
\n | 换行 |
\t | 转化为制表符 |
\w(小写) | 匹配包括下划线的任何单词字符 |
\W(大写) | 匹配任何非单词字符。等通于”[^A-Za-z0-9_]" |
\r | 转换后是回车符 |
\d | 匹配一个数字字符 |
\D | 匹配一个非数字字符。等价于[^0-9] |
\s(小写) | 空白符 |
\S(大写) | 非空白符 |
2.1.3 中括号表达式
普通中括号包围的字符组,表示某个单个字符匹配中括号内的任意字符即匹配成功
- x[abc]z :可以匹配包含“xaz”、“xbz”、“xcz”的字符串
- 取反表示法:中括号内开头使用 ^ ,表示只要不是中括号内的字符就匹配
x[ ^abc]z :可以匹配包含 “xdz”、“xez” 等字符串,但不能匹配包含“xaz”、“xbz”、“xcz”的字符串
特殊元字符在中括号中匹配
- 想要在中括号中匹配: ^ ,需要将其放在中括号非开头的位置,如:[a^]
- 想要在中括号中匹配: – ,需要将其放在开头位置或结尾位置,如:[abc-]、[-abc]
- 想要在中括号中匹配: ] ,需要将其放在开头位置,如:[]abc]
2.1.4 位置匹配
只匹配字符,不匹配字符
- ^ :匹配行首
- $ :匹配行尾
- \b 匹配单词边界处的位置(开头和结尾) \bword\b 等价于 \
- \< 匹配单词开头处的位置
- \> 匹配单词结尾处的位置
- \B 匹配非单词边界处的位置
2.1.5 字符类
[:alnum:] | 字母和数字 |
[:alpha:] | 代表任何英文大小写字母 A-Z a-z |
[:lower:] | 小写字母 |
[:upper:] | 大写字母 |
[:blank:] | 空白字符 |
[:space:] | 包括空格、制表符 (水平和垂直)、换行符、回车符等各种类型的空白,比[:blank:]包含的范围广 |
[:cntrl:] | 不可打印的控制字符(退格、删除、警铃…) |
[:digit:] | 十进制数字 |
[:xdigit:] | 十六进制数字 |
[:graph:] | 可打印的非空白字符 |
[:print:] | 可打印字符 |
[:punct:] | 标点符号 |
2.1.6量词
\{m\} :表示匹配前一个字符或前一个子表达式m次
\{m,n\} :(m<n)表示匹配前一个字符或前一个字表达式最少m次,最多n次
\{m,\} :表示匹配前一个字符或前一个子表达式至少m次
\{,n\} :表示匹配前一个字符或前一个字表达式最多n次(匹配0次也算是成功)
*表示前一个字符或前一个子表达式匹配0次或多次,等价于:{0,}
- .*匹配任意长度的任意字符
3.扩展正则表达式的元字符
支持awk和egrep使用,如果grep和sed想要正常使用(grep -E sed -r)
元字符 | 作用含义 |
+ | 匹配前面子表达式1次及以上 |
? | 匹配前面子表达式0次或者1次 |
() | 将括号中的字符串作为一个整体 |
| | 以”或”的方式匹配字符串 |
3.1扩展常用的量词
- +表示匹配前一个字符或前一个子表达式1或多次,即至少一次 等价于 {1,}
- ? 表示匹配前一个字符或前一个子表达式0或1次,等价于 {0,1}等价于 {,1}
3.2 分组捕获和反向引用
使用小括号()包围一部分正则表达式,这部分正则表达式即成为一个分组整体,也称为一个子表达式。
分组后可以使用 \N 来反向引用对应的分组匹配结果,N是1-9的正整数,\1表示第一个分组表达式的匹配结果,\2表达第二个分组表达式的匹配结果。
注意:反向引用引用的是分组匹配后的结果,不是分组表达式
例如:正则表达式:(abc|def) and \1xyz 可以匹配字符串“abc and abcxyz ” 或“def and defxyz”,但是不能匹配“abc and defxyz” 或 “def and abcxyz”
二.grep 命令
1.命令简介
grep 是一种强大的文本搜索工具,它能使用正则表达式,并把匹配的行打印出来
格式:
grep[options]pattern [file]options表示:选项;pattern 表示:匹配的的表达式; file 表示:文件名例如:grep-i"root" /etc/passwd
2.常用选项
-m 数字 | 匹配到数字行停止 |
-v | 取反 |
-i | 忽略字符大小写 |
-n | 显示匹配的行号 |
-c | 统计匹配的行数 |
-o | 仅显示匹配到的字符串 |
-q | 静默模式,不输出任何信息 |
-A 数字 | after 后数字行 |
-B 数字 | before前数字行 |
-C 数字 | context 前后各数字行 |
-e | 实现多个选项间的逻辑 or 关系 |
-E | 使用ERE,相当于egrep |
-w | 匹配整个单词 |
-F | 不支持正则表达式,相当于fgrep |
-f | 处理两个文件相同内容,把第一个文件作为匹配条件 |
-r | 递归目录,但不处理软连接 开始搜索目录 |
-R | 递归目录,但处理软连接 |
操作:
-m
-i
-n
-c
-o
-q
-A -B -C
-e
-w
-E
扩展正则中这些元字符可直接使用: ” />、 + 、 { 、 } 、 | 、 ( 和 ) 。 基础正则中这些元字符前需要加反斜线转义: \? 、 \+ 、 \{ 、 \} 、 \| 、 \( 和 \) 。grep sed默认使用基础正则表达式 grep -E、sed -r、egrep、awk扩展正则表达式
-r
3.操作
① 统计当前主机的连接状态
② 统计当前连接主机数
③ 匹配QQ号
④ 匹配电话号码
⑤ 匹配邮箱
⑥ 统计 /etc/fstab 下面有多少单词
三.sed命令
1.关于sed
1.1 简介
sed 是从文件或管道中读取一行,处理一行,输出一行;再读取一行,再处理一行,再输出一行,直到最后一行。每当处理一行时,把当前处理的行存储在临时缓冲区中,称为模式空间(PatternSpace),接着用 sed 命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。一次处理一行的设计模式使得 sed 性能很高,sed 在读取大文件时不会出现卡顿的现象。如果使用 vi 命令打开几十M上百M的文件,明显会出现有卡顿的现象,这是因为 vi 命令打开文件是一次性将文件加载到内存,然后再打开。sed 就避免了这种情况,一行一行的处理,打开速度非常快,执行速度也很快。
1.2 sed 编辑器的工作过程
sed 的工作流程主要包括读取、执行和显示三个过程:
- 读取:sed 从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中(又称模式空间,pattern space )。
- 执行:默认情况下,所有的 sed 命令都在模式空间中顺序地执行,除非指定了行的地址,否则 sed 命令将会在所有的行上依次执行。
- 显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行, 直至所有内容被处理完。
注意:默认情况下所有的 sed 命令都是在模式空间内执行的,因此输入的文件并不会发生任何变化,除非使用 “sed -i” 修改源文件、或使用重定向输出到新的文件中。
1.3 玛玛哈哈
怎么解决 sed 命令处理容量过大,或内容过多而导致执行效率缓慢的问题?
方案一:
使用 split 命令进行文件分割(如果文件是百万行的,那么我们就创建一个单独的目录,将文件分割为一百个一万行的文本),再使用 sed 命令进行处理,除了使用 split 分割,也可以使用一个遍历分割shell脚本进行执行。
方案二:
cat 文件名 | sed 处理(这个方案只能针对中型的文件文本,如果文本量过大,处理效果不好)
2.sed 命令与选项操作符
1. 格式
sed [option]... 'script;script;...' [inputfile...] 选项 自身脚本语法 支持标准输入管道
2.常用选项
-e | 用指定命令或者脚本来处理输入的文本文件 只有一个操作命令时省略,一般在执行多个操作命令使用 |
-f | 用指定的脚本文件来处理输入的文本文件 |
-n | 不输出模式空间内容到屏幕,即不自动打印 可以与 p 命令一起使用完成输出 |
-r -E | 使用扩展正则表达式 |
-h | 显示帮助 |
-i | 直接修改目标文件 |
-i.xxx | 备份文件并原处编辑 |
-s | 将多个文件视为独立文件,而不是单个连续的长文件流 |
3.操作符
“操作”用于指定文件对操作的动作行为,也就是 sed 的命令。
通常情况下是采用的 “[n1[,n2]]” 操作参数的格式。n1、n2是可选的,代表选择进行操作的行数,如操作需要在5~20行之间进行,则表示为 “5,20 动作行为”
s | 替换,替换指定字符 |
d | 删除,删除选定的行 |
a | 增加,在当前行下方增加一行指定内容 |
i | 插入,在选定行上方插入一行指定内容 |
c | 替换,将选定行替换为指定内容 |
w | 保存模式匹配的行至指定文件 |
r | 读取指定文件的文本至模式空间中匹配的行后 |
y | 字符转换,转换前后的字符长度必须相同 |
p | 打印行内容。如果同时指定行,表示打印指定行;如果不指定行,则表示打印所有内容;如果有非打印字符,则以ASCII码输出。其通常与”-n”选项一起使用 |
= | 打印行号 |
l(小写L) | 打印数据流中的文本和不可打印的ASCII字符(如结束符$ 制表符\t) |
操作:
显示第二行内容
4.脚本格式
由 ‘地址+命令’ 组成
① 不给地址 对全文进行处理
② 单地址
数字指定的数字行
$最后一行
③ 地址范围
x,x从第x行到第x行3,6 从第3行到第6行
x,+x 从x行到+x行 3,+4 从3行到第7行
/pat1/,/pat2/第一个正则表达式和第二个正则表达式之间的行
④ 步进 ~
1~2 奇数行
2~2 偶数行
n;打印下一行
操作:
小问题:
如何打印一段时间间的日志
5.搜索替代
s/pattern/string/修饰符 查找替换,支持使用其它分隔符,可以是其它形式:s@@@,s###替换修饰符:g 行内全局替换p 显示替换成功的行w/PATH/FILE 将替换成功的行保存至文件中& 指代之前找到的内容
指代变量
分组替换
sed -nr ‘s/正则匹配/\1/p’
还可以变换顺序
操作:
取ip
①
②
或者
提取版本号
提取0644
6.变量
修改端口
修改网卡名