Shell脚本文本处理三剑客（grep、awk、sed）和正则表达式

一、正则表达式

1.正则表达式基础

正则表达式（regular expression）描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串，将匹配的子串替换或者从某个串中取出符号某个条件的子串等，在linux中代表自定义的模式模板，linux工具可以用正则表达式过滤文本。linux工具能够在处理数据时使用正则表达式对数据进行模式匹配，如果数据符号匹配的要求，那么就会进入下一步处理，如果数据不符合匹配的要求，就会被过滤掉。

正则表达式（正规表达式、常规表达式）：

1.使用字符串来描述、匹配一系列符号某个规则的字符串

2.普通字符包括大小写字母、数字、标点符号及一些其他符号组成，元字符是指在正则表示式中具有特殊意义的专用字符

2.元字符

基础正则表达式支持的工具：grep、egrep、sed、awk

3.扩展正则表达式元字符

支持的工具：egrep、awk、grep -E、sed -r

+：表示匹配前面的子表达式1次以上

？：表示匹配前面的子表达式0或1次

（）：将括号里的内容看成一个整体

|：以或的方式匹配字符串

二、grep命令

grep(Global Regular Expression Print)：表示全局正则表达式，使用权限是所有用户，grep命令是文本搜索工具，能使用正则表达式搜索文本，并把匹配的行打印出来

统计lsblk命令显示中磁盘总个数：

在大量文件中快速过滤/etc文件夹下包含root单词的所有文件：

1.^：表示匹配字符串开始的位置，匹配行首

2.$：表示匹配字符串末尾的位置，匹配行尾

3.*：匹配前面子表达式0次或多次，贪婪模式尽可能长

4..：匹配除\n之外的任意的一个字符

5..*：表示任意长度的任一字符，不包括0次

6.\{n\}  匹配前面的子表达式n次

三、sed命令

1.sed基础

1.sed编辑器是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流

2.sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要存储在一个命令文本文件中

2.sed编辑器的工作流程

sed的工作流程主要包括读取、执行和显示三个过程：

1.读取：sed从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）

3.显示：发送修改后的内容到屏幕，在发送数据后，模式空间将会被清空，在所有的文件内容都被处理完成之前，上述过程将重复执行，直到被全部处理完成

注：默认情况下所有sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，
除非是用重定向存储输出或者sed -i

3.sed命令选项

4.sed命令操作

5.sed打印内容

1.打印输入的全部内容

2.查看文件，打印文件中全部内容

3.打印指定行内容

4.打印指定多行内容

5.打印多(3)行后退出

6.打印最后一行，使用通配符$（最后）

7.支持正则表达式，打印范围内容

8.过滤关键字

9.从第n行开始匹配

10.找到第n个关键字为止

11.打印文本的奇数行和偶数行

6.sed删除内容

1.删除指定行

2.删除指定的多行

3.删除文本中的空行

4.删除以指定字符结尾的行及取反

5.先备份内容再删除

7.插入内容

1.在指定行后插入

2.插入空行，修改文件的换行，要多加一个\

8.替换行内容

9.取反（使用！）

10.搜索替代

1.修改selinux开机不自启配置文件

2.修改多行，使用r以及-e

3.修改全局，后面加g

4.查找几点到几点之间的日志

11.分组调用

1.调用分组段

2.提取IP地址

四、awk命令

1.awk基础

awk是一种处理文本文件的语言，是一个强大的文本分析工具，可以在无交互的模式下实现复杂的文本操作，相较于sed常作用于一整个行的处理，awk则比较倾向于一行当中分成数个字段来处理，因为awk相当适合小型的文本数据

2.awk格式及原理

awk命令逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理，awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示

命令格式：

awk  [选项]  '模式条件{操作}'  文件1  文件2

awk  -f |-v  脚本文件  文件1   文件2

3.awk常见内建变量

4.awk打印文本内容：

awk可以自动将多个空格压缩成一个空格

打印字符串需要加双引号

2.打印磁盘已经使用情况

df  |awk  '{print $5}'

3.打印字符串

awk  '{print "hello eva"}'

4.打印字符串确定文件有多少行

5.awk根据$n已经NR提取字段

$n代表提取第几列

1.提取ip地址

ifconfig ens33 |sed -n '2p' |awk '{print $2}'

ifconfig ens33 |awk 'NR==2{print $2}'

2.提取ipv6地址

ifconfig ens33 |sed -n '3p' |awk '{print $2}'

ifconfig ens33 |awk 'NR==3{print $2}'

6.awk根据选项-F指定分隔符

1.打印/etc/passwd所有用户名

cat /etc/passwd |awk -F ":" '{print $1}'

cat /etc/passwd |awk -F:  '{print $1}'

2.打印多列内容

打印时逗号可以表示空格，如果使用：或+，需要将特殊符号加上双引号当成字符串打印

cat /etc/passwd |awk -F":" '{print $1,$2}'

cat /etc/passwd |awk -F: '{print $1":"$2}'

cat /etc/passwd |awk -F: '{print $1"+"$2}'

3.awk打印磁盘已经使用情况，去掉%

df |awk '{print $5}' |awk -F% '{print $1}'

df |awk -F "[ % ]+" '{print $5}'

df |awk -F "( |% )+" '{print $5}'

4.取出文本中的ip地址及时间

cat test.txt |sed '2d' |awk -F"[[ ]" '{print $5"\t"$1}'

cat test.txt |sed '2d' |awk -F"[[ ]" '{print $5,$1}'

5.取出文本中的主机并放回

7.awk根据关键字提取所在行

1.提取/etc/passwd以root开头的行

cat /etc/passwd |awk -F":" '/^root/{print}'

.提取/etc/passwd root所在的行

cat /etc/passwd |awk -F: '/root/{print}'

3.提取/etc/passwd nologin结尾的行

cat /etc/passwd |awk -F":" '/nologin$/{print}'

cat /etc/passwd |awk -F":" '/\/sbin\/nologin$/{print}'

8.FS：指定每行文本的字段分隔符，默认为空格或制表符，与-F相同

9.NF：当前处理行的整行内容

1.当前处理的行的字段个数

cat /etc/passwd |awk -F: '{print NF}'

2.打印出每行最后一个字段

cat /etc/passwd |awk -F: '{print $NF}'

3.打印出每行倒数第二个字段

cat /etc/passwd |awk -F: '{print $(NF-1)}'

df|awk '{print $(NF-1)}'

10.NR：当前处理行的行号

1.当前处理的行的行号

2.NR==n代表行号等于什么

3.NR%2==0取偶数行

4.NR%2==1取奇数行

5.NR==1，NR==4取区间行

6.取UID数值范围$n>1000

11.例子

1.统计/etc/fstab文件中每个文件系统类型出现的次数

2.统计/etc/fstab文件中每个单词出现的次数

3.将某日志文件访问用户的IP地址，在第三列冒号隔开，统计出访问量前十的IP地址

4.提取出字符串uf5951df1s56f1wf1w9f1w1f651f61w中所有的数字