Linux Shell 脚本攻略 ---- 第四章 让文本飞

  1. 云栖社区>
  2. 博客>
  3. 正文

Linux Shell 脚本攻略 ---- 第四章 让文本飞

陈国林 2014-01-22 18:40:37 浏览445
展开阅读全文


4.1 正则表达式入门

   1 正则表达式是基于样式匹配的文本处理技术的关键所在

   2 正则表达式是用于绝大多数文本处理工具的一种语言

   3 正则表达式的基本组成部分

      正则表达式                 描述             

               ^                      行起始标记      

               $                      行尾标记

                .                      匹配任意一个字符

               []                      匹配包含在[]之中的任意一个字符

               [^]                    匹配除了[]之外的任意一个字符

               [-]                     匹配[]中指定范围内的任意一个字符

               ?                      匹配之前的项1次或0次

               +                      匹配之前的项1次或多次

               *                       匹配之前的项0次或多次

               {n}                    匹配之前的项n次

               {n,}                   匹配之前的项至少n次

               {n,m}               匹配之前的项至少n次最大m次

    4 为了匹配一个IP地址,可以使用下面的正则表达式

         [0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}

         我们知道IP地址通常是由点号分割的4个整数,每个整数的值是0-255

    5 我们在字符前面放一个”\",这种做法是称为对字符的转制


4.2 用grep在文件中搜索文本

    1 grep命令是UNIX中用于文本搜索的大师级工具,它能够接受正则表达式和通配符

    2 在文件中搜索一个单词: grep word file

    3 grep命令也可以对多个文件进行搜索: grep word file1 file2 file3...

    4 如果想要打印包含word之外的所有行可使用: grep -v word file

    5 统计文件或文本中包含匹配字符串的行数: grep -c word file

    6 打印出包含匹配字符串的行数: grep -n word file

    7 如果需要在多级目录中对文本进行递归搜索,可以使用: grep word path -R -n

    8 忽略样式中的大小写: grep -i word file

    9 打印出匹配文件之前或之后的行

       要打印匹配某个结果之后3行: grep word -A 3 file

       要打印匹配某个结果之前的3行: grep word -B 3 file

       要打印匹配某个结果的之前及之后3行: grep word -C 3 file


4.3 用cut按列切分文件

    1 cut是一个帮我们将文本按列进行切分的小工具,它也可以通过指定定界符

    2 为了提取第一个字段或列,可以使用下面的方法

        cut -f field_list file  // field_list是要显示的列

    3 cut -f 2,3 file // 这条命令将显示第2,第3列

    4 我们也可以利用-complement选项对提取的字段进行补集运算,假设有多个字段,你希望打印出除了第3列之外的所有列,则可以使用: cut -f3 --complement file

    5 要指定字段的定界符,使用-d选项: cut -f2 -d";" file // 命令显示第2列,用";"做为分割符

    6 如果要切分出第n到m个字符可以使用: cut -cn-m file

  

4.4 sed入门

    1 sed是stream editor(流编辑器)的缩写,它是文本处理中非常重要的工具,它能够完美的配合正则表达式使用,功能不同反响

    2 sed可以替换给文本中的字符串,它可以利用正则表达式进行匹配

       sed 's/pattern/replace_string/' file

    3 如果使用-i选项,可以将替换结果应用于原文件: sed -i 's/pattern/replace_string/' file

    4 用sed移除空白行: sed '/^$/d' file 

    5 利用管道组多个sed命令这种方法可以用下面的方式替换: sed expression | sed expression 等价于sed 'expression ; expression'

    

4.5 awk入门

    1 awk脚本的结构基本如下所示: awk 'BEGIN{statement} pattern{statement}END{statement}'

    2 一个awk脚本通常有三个部分组成:BEGIN语句块,END语句块和能够使用模式匹配的语句块。这三个部分是可选的,它们中的任何一个部分都可以不出现在脚本中,脚本通常包含在单引号中或双引号中

    3 awk命令的工作方式

      (1) 执行BEGIN{statement}语句块中的语句

      (2) 从文件或stdin中读取一行,然后执行pattern{statement},重复这个过程,直到文件全部读取完毕

      (3) 当读至输入流末尾的时候,执行END{statement}语句块

    4 BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,诸如变量的初始化,打印输出表格的表头语句等等

    5 END语句块和BEGIN类似,END语句在awk从输入流中读取完毕之后被执行,像打印所有行的结果这类信息一般都是放在END语句块中执行

    6 最终要的部分是pattern语句块中的部分,这个语句块同样也是可选的,如果不提供,则默认执行print,即打印每一个读取的行

    7 当使用不带参数的pring时,它会打出当前行。关于print,需要记住的是:当pring的参数是以逗号进行分割时,参数打印则以空格做为定界符,在awk的print中双引号是被当做拼接操作符使用的

    8 awk的一些特殊变量

       NR: 表示记录数量,在执行的过程中相当于当前行号

       NF: 表示字段数量,在执行过程中对应于当前行的字段数

       $0: 这个变量包含执行过程中当前行的文本内容

       $1: 这个变量包含第一个字段的文本内容

       $2: 这个变量包含第二个字段的文本内容

    9 通常grep是默认读取一个文件的所有行,如果只想读取某一行,可以使用getline

    10 awk有很多内置的函数

         length(string): 返回字符串的长度

         index(string, search_string): 返回search_string在字符串中的出现的位置

         split(string, array, delimiter): 用定界符生成一个字符串列表,并将该列表存入数组

         

4.6 替换文本或文件中的字符串

    1 可以使用下面的方式替换一个字符串或样式

       sed 's/pattern/replace_string/g' file //这条命令会替换所有匹配到的项,/g的意识是全局(global),这就意味着它会替换文件中所有匹配的内容

    2 当文件名传递给sed的时候,sed将输出写到stdout,如果不想把输出结果输送到stdout,而是将更改保存到原文件中可以使用-i选项 sed 's/pattern/replace_string/g' -i file  


4.7 按列合并文件

    1 可以使用paste命令实现按列拼接: paste file1 file2 file3

    2 默认的定界符是制表符,也可以使用-d来明确指定定界符

       paste file1 file2 -d "," // 指定定界符是","

 

4.8 打印文件或行中的第n个单词或列

    1 用下面的命令打印第五列

       awk '{print $5}' file // 这个命令将打印文件file的第五列

    2 要打印从M行到N行这个范围的所有文本,使用下面的语法

       awk 'NR==N , NR==M' file

    3 命令tac可以做到逆序打印文件

       seq 5 | tac // 这个命令将输出5 4 3 2 1

       tac file // 这个命令将逆序打印处文件file

    4 用awk实现head和tail还有tac 

       awk 'NR <= 10' file // 这个命令默认打印处文件file的前10行

       awk '{buffer[NR%10]=$0}END{for(i=1;i<11;i++)print buffer[i%10]} file // 这个命令默认打印文件file的最后10行

       awk '{buffer[NR]=$0}END{for(i=NR;i>0;i--)print buffer[i]}' file // 这个命令默认打印逆序打印出文件file

       


网友评论

登录后评论
0/500
评论
陈国林
+ 关注