Shell编程之正则表达式与文本处理器
目录
正则表达式
基础正则表达式
扩展正则表达式
文件处理器
cut
sort
uniq
tr
基础正则表达式
正则表达式---通常用于判断语句中，用来检查某一字符串是否满足某一格式
正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式
LINUX 中常用的有两种正则表达式引擎
基础正则表达式：BRE
扩展正则表达式: ERE
1. grep [选项]… 查找条件 目标文件
-E ：开启扩展（Extend）的正则表达式
-c ：计算找到 '搜寻字符串' 的次数
-i ：忽略大小写的不同，所以大小写视为相同
-o ：只显示被模式匹配到的字符串
-v ：反向选择，亦即显示出没有 '搜寻字符串' 内容的那一行！（反向查找，输出与查找条件不相符的行）
--color=auto ：可以将找到的关键词部分加上颜色的显示喔！
-n ：顺便输出行号
案例1：
2.基础正则表达式常见元字符：(支持的工具：grep、egrep、sed、awk)
特殊字符
\：转义符，将特殊字符进行转义，忽略其特殊意义a\.b匹配a.b，但不能匹配ajb，.被转义为特殊意义\\\\
^：匹配行首，^则是匹配字符串的开始^tux匹配以tux开头的行^^^^
$：匹配行尾，$则是匹配字符串的结尾tux$匹配以tux结尾的行$$$$
.：匹配除换行符\r\n之外的任意单个字符
[list]：匹配list列表中的一个字符 例： go[ola]d，[abc]、[a-z]、[a-z0-9]
[^list]：匹配任意不在list列表中的一个字符 例： [^a-z]、[^0-9]、[^A-Z0-9]
*：匹配前面子表达式0次或者多次 例：goo*d、go.*d
\{n\} :匹配前面的子表达式n次，例:go\{2\}d、'[O-9]\{2\}'匹配两位数字
\{n,\}:匹配前面的子表达式不少于n次，例: go\{2,\}d、' [0-9]\{2,\}'匹配两位及两位以上数宁
\{n,m\}﹔匹配前面的子表达式n到m次，例: go\{2,3\)d、'[0-9]\{2,3\}'匹配两位到三位数字
注: egrep、awk使用{n}、{n, }、{n, m}匹配时“{}"前不用加"\”
egrep -E -n 'wo{2}d' test.txt //-E 用于显示文件中符合条件的字符
案例2：
定位符
^ 匹配输入字符串开始的位置
$ 匹配输入字符串结尾的位置
非打印字符
\n 匹配一个换行符
\r 匹配一个回车符
\t 匹配一个制表符
扩展正则表达式
扩展正则表达式（支持的工具：egrep、awk）
通常情况下会使用基础正则表达式就已经足够了，但有时为了简化整个指令，需要使用 范围更广的扩展正则表达式。例如，使用基础正则表达式查询除文件中空白行与行首为“#”
之外的行（通常用于查看生效的配置文件），执行“grep -v‘^$’test.txt | grep -v‘^#’”即可实现。这里需要使用管道命令来搜索两次。如果使用扩展正则表达式， 可以简化为“egrep
-v‘^$|^#’test.txt”，其中，单引号内的管道符号表示或者（or）。
此外，grep 命令仅支持基础正则表达式，如果使用扩展正则表达式，需要使用 egrep 或 awk 命令。awk 命令在后面的小节进行讲解，这里我们直接使用 egrep 命令。egrep 命令与 grep 命令的用法基本相似。egrep 命令是一个搜索文件获得模式，使用该命令可以搜索文件中的任意字符串和符号，也可以搜索一个或多个文件的字符串，一个提示符可以是单个字符、一个字符串、一个字或一个句子。
与基础正则表达式类型相同，扩展正则表达式也包含多个元字符，常见的扩展正则表达 式的元字符主要包括以下几个.
案列：
+ 作用：重复一个或者一个以上的前一个字符
示例：执行“egrep -n 'wo+d' test.txt”命令，即可查询"wood" "woood" "woooooood"等字符串
？ 作用：零个或者一个的前一个字符
示例：执行“egrep -n 'bes?t' test.txt”命令，即可查询“bet”“best”这两个字符串
| 作用：使用或者（or）的方式找出多个字符
示例：执行“egrep -n 'of|is|on' test.txt”命令即可查询"of"或者"if"或者"on"字符串
() 作用：查找“组”字符串
示例：“egrep -n 't(a|e)st' test.txt”。“tast”与“test”因为这两个单词的“t”与“st”是重复的，所以将“a”与“e”
列于“()”符号当中，并以“|”分隔，即可查询"tast"或者"test"字符串
()+ 作用：辨别多个重复的组
示例：“egrep -n 'A(xyz)+C' test.txt”。该命令是查询开头的"A"结尾是"C"，中间有一个以上的"xyz"字符串的意思
元字符操作的案列
（1）查找特定字符
查找特定字符非常简单，如执行以下命令即可从 test.txt 文件中查找出特定字符“the”所在位置。其中“-n”表示显示行号、“-i”表示不区分大小写。命令执行后，符合匹配标准的字符， 字体颜色会变为红色（本章中全部通过加粗显示代替）。
grep -n 'the' test.txt
若反向选择，如查找不包含“the”字符的行，则需要通过 grep 命令的“-v”选项实现，并配合“-n”一起使用显示行号。
grep -vn 'the' test.txt
（2）利用中括号“[]”来查找集合字符
想要查找“shirt”与“short”这两个字符串时，可以发现这两个字符串均包含“sh”与“rt”。此时执行以下命令即可同时查找到“shirt”与“short”这两个字符串，其中“[]”中无论有几个字符， 都仅代表一个字符，也就是说“[io]”表示匹配“i”或者“o”。
grep -n 'sh[io]rt' test.txt
若要查找包含重复单个字符“oo”时，只需要执行以下命令即可。
grep -n 'oo' test.txt
若查找“oo”前面不是“w”的字符串，只需要通过集合字符的反向选择“[^]”来实现该目的。例如执行“grep -n‘[^w]oo’test.txt”命令表示在 test.txt 文本中查找“oo”前面不是“w”的字符串。
grep -n '[^w]oo' test.txt
案例：
“a-z”表示小写字母，大写字母则通过“A-Z”表示。
查找包含数字的行可以通过“grep -n ‘[0-9]’test.txt”命令来实现。
案例：
查找行首“^”与行尾字符“$” “^$”空格
查找任意一个字符“.”与重复字符“*”
前面提到，在正则表达式中小数点（.）也是一个元字符，代表任意一个字符。例如执行以下命令就可以查找“w??d”的字符串，即共有四个字符，以 w 开头 d 结尾。
在上述结果中，“wood”字符串“w..d”匹配规则。若想要查询 oo、ooo、ooooo 等资料， 则需要使用星号（*）元字符。但需要注意的是，“*”代表的是重复零个或多个前面的单字符。 “o*”表示拥有零个（即为空字符）或大于等于一个“o”的字符，因为允许空字符，所以执行“grep
-n 'o*' test.txt”命令会将文本中所有的内容都输出打印。如果是“oo*”，则第一个 o 必须存在， 第二个 o 则是零个或多个 o，所以凡是包含 o、oo、ooo、ooo，等的资料都符合标准。同理，若查询包含至少两个 o 以上的字符串，则执行“grep -n 'ooo*' test.txt”命令即可。
组合用法
总结：元字符
通过上面几个简单的示例，可以了解到常见的基础正则表达式的元字符主要包括以下几个
^ 匹配输入字符串的开始位置。除非在方括号表达式中使用，表示不包含该字符集合。要匹配“^” 字符本身，请使用“\^”
$ 匹配输入字符串的结尾位置。如果设置了RegExp 对象的 Multiline 属性，则“$”也匹配‘\n’或‘\r’。要匹配“$”字符本身，请使用“\$”
. 匹配除“\r\n”之外的任何单个字符
\ 反斜杠，又叫转义字符，去除其后紧跟的元字符或通配符的特殊意义
* 匹配前面的子表达式零次或多次。要匹配“*”字符，请使用“\*”
[] 字符集合。匹配所包含的任意一个字符。例如，“[abc]”可以匹配“plain”中的“a”
[^] 赋值字符集合。匹配未包含的一个任意字符。例如，“[^abc]”可以匹配“plin”中任何一个字母
[n1-n2] 字符范围。匹配指定范围内的任意一个字符。例如，“[a-z]”可以匹配“a”到“z”范围内的任意一个小写字母字符。
注意：只有连字符（-）在字符组内部，并且出现在两个字符之间时，才能表示字符的范围；如果出现在字符组的开头，则只能表示连字符本身
{n} n 是一个非负整数，匹配确定的 n 次。例如，“o{2}”不能匹配“Bob”中的“o”，但是能匹配“food”中的“oo”
{n,} n 是一个非负整数，至少匹配 n 次。例如，“o{2,}”不能匹配“Bob”中的“o”，但能匹配“foooood”中的所有o。“o{1,}”等价于“o+”。“o{0,}”则等价于“o*”
{n,m} m 和 n 均为非负整数，其中 n<=m，最少匹配 n 次且最多匹配m 次
文件处理器
cut：列截取工具
使用说明:
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一
选项：
-b：按字节截取
-c：按字符截取，常用于中文
-d：指定以什么为分隔符截取，默认为制表符
-f：通常和-d一起
组合用法
注意：cut只擅长于处理单个字符为间隔的文本
sort
是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样
语法：
sort [选项] 参数
常用选项
-t：指定分隔符，默认使用[Tab]吧 键或空格分隔
-k：指定排序区域，哪个区间排序
-n：按照数字进行排序，默认是以文字形式排序
-u：等同于 uniq，表示相同的数据仅显示一行，注意：如果行尾有空格去重就不成功
-r：反向排序，默认是升序，-r就是降序
-o：将排序后的结果转存至指定文件
组合用法
sort -n -t ':' -k 3 passwd.txt
sort -r passwd.txt -o passwd.bak #降倒叙的文件结果转存到指定文件
uniq
主要用于去除连续的重复行
注意：是连续的行，所以通常和sort结合使用先排序使之变成连续的行再执行去重操作，否则不连续的重复行他不能去重
（1）语法
uniq [选项] 参数
（2）常用选项
-c：对重复的行进行计数；
-d：仅显示重复行；
-u：仅显示出现一次的行
案例：
cat 13.txt | uniq #重复的只显示一个
last | awk '{print $1}'|sort | uniq |grep -v "^$" | grep -v wtmp
tr：它可以用一个字符来替换另一个字符，或者可以完全除去一些字符，也可以用它来除去重复字符
语法
用法：tr [选项]… SET1 [SET2]
从标准输入中替换、缩减和/或删除字符，并将结果写到标准输出。
常用选项
-d 删除字符
-s 删除所有重复出现的字符，只保留第一个
案例：