备案控制台
探索云世界
开发者社区 数据库 文章 正文

linux awk命令详解

2017-11-23 1040
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL Serverless，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
简介：
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
awk 是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息
awk 处理过程: 依次对每一行进行处理，然后输出
awk 命令形式:
awk  [-F|-f|- v ] ‘BEGIN{}  // {command1; command2} END{}’  file
  [-F|-f|- v ]   大参数，-F指定分隔符，-f调用脚本，- v 定义变量 var=value
'  '           引用代码块
BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//            匹配代码块，可以是字符串或正则表达式
{}           命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息
  
特殊要点:
$0           表示整个当前行
$1           每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR        与NR类似，不过多文件记录不递增，每个文件都从1开始
\t            制表符
\n           换行符
FS          BEGIN时定义分隔符
RS       输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~            匹配，与==相比不是精确比较
!~           不匹配，不精确比较
==         等于，必须全部相等，精确比较
!=           不等于，精确比较
&&　     逻辑与
||             逻辑或
+            匹配时表示1个或1个以上
/[0-9][0-9]+/   两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F '[:#/]'    定义三个分隔符
  
print & $0
print 是 awk 打印指定内容的主要命令
awk  '{print}'   /etc/passwd    ==    awk  '{print $0}'   /etc/passwd  
awk  '{print " "}'  /etc/passwd                                            // 不输出 passwd 的内容，而是输出相同个数的空行，进一步解释了 awk 是一行一行处理文本
awk  '{print "a"}'    /etc/passwd                                         // 输出相同个数的a行，一行只有一个a字母
awk  -F ":"  '{print $1}'   /etc/passwd 
awk  -F:  '{print $1; print $2}'    /etc/passwd                    // 将每一行的前二个字段，分行输出，进一步理解一行一行处理文本
awk   -F:  '{print $1,$3,$6}'  OFS= "\t"  /etc/passwd         // 输出字段1,3,6，以制表符作为分隔符
  
-f指定脚本文件
awk  -f script. awk   file
BEGIN{
FS= ":"
}
{print $1}                // 效果与 awk  -F ":"  '{print $1}' 相同,只是分隔符使用FS在代码自身中指定
  
awk  'BEGIN{X=0} /^$/{ X+=1 } END{print "I find",X,"blank lines."}'  test 
I  find  4 blank lines.
  ls  -l| awk  'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is",sum}'                     // 计算文件大小
total size is 17487
  
-F指定分隔符
$1 指指定分隔符后，第一个字段，$3第三个字段， \t是制表符
一个或多个连续的空格或制表符看做一个定界符，即多个空格看做一个空格
awk  -F ":"  '{print $1}'   /etc/passwd
awk  -F ":"  '{print $1 $3}'   /etc/passwd                        // $1与$3相连输出，不分隔
awk  -F ":"  '{print $1,$3}'   /etc/passwd                        // 多了一个逗号，$1与$3使用空格分隔
awk  -F ":"  '{print $1 " " $3}'   /etc/passwd                   // $1与$3之间手动添加空格分隔
awk  -F ":"  '{print "Username:" $1 "\t\t Uid:" $3 }'  /etc/passwd        // 自定义输出  
awk  -F:  '{print NF}'  /etc/passwd                                 // 显示每行有多少字段
awk  -F:  '{print $NF}'  /etc/passwd                               // 将每行第NF个字段的值打印出来
  awk  -F:  'NF==4 {print }'  /etc/passwd                        // 显示只有4个字段的行
awk  -F:  'NF>2{print $0}'  /etc/passwd                        // 显示每行字段数量大于2的行
awk  '{print NR,$0}'  /etc/passwd                                  // 输出每行的行号
awk  -F:  '{print NR,NF,$NF,"\t",$0}'  /etc/passwd       // 依次打印行号，字段数，最后字段值，制表符，每行内容
awk  -F:  'NR==5{print}'   /etc/passwd                          // 显示第5行
awk  -F:  'NR==5 || NR==6{print}'   /etc/passwd        // 显示第5行和第6行
route -n| awk  'NR!=1{print}'                                        // 不显示第一行
  
// 匹配代码块
// 纯字符匹配   ! // 纯字符不匹配   ~ // 字段值匹配    !~ // 字段值不匹配   ~ /a1 |a2/字段值匹配a1或a2   
awk  '/mysql/'  /etc/passwd
awk  '/mysql/{print }'  /etc/passwd
awk  '/mysql/{print $0}'  /etc/passwd                    // 三条指令结果一样
awk  '!/mysql/{print $0}'  /etc/passwd                   // 输出不匹配mysql的行
awk  '/mysql|mail/{print}'  /etc/passwd
awk  '!/mysql|mail/{print}'  /etc/passwd
awk  -F:  '/mail/,/mysql/{print}'  /etc/passwd          // 区间匹配
awk  '/[2][7][7]*/{print $0}'  /etc/passwd                // 匹配包含27为数字开头的行，如27，277，2777...
awk  -F:  '$1~/mail/{print $1}'  /etc/passwd            // $1匹配指定内容才显示
awk  -F:  '{if($1~/mail/) print $1}'  /etc/passwd      // 与上面相同
awk  -F:  '$1!~/mail/{print $1}'  /etc/passwd           // 不匹配
awk  -F:  '$1!~/mail|mysql/{print $1}'  /etc/passwd        
  
IF语句
必须用在{}中，且比较内容用()扩起来
awk  -F:  '{if($1~/mail/) print $1}'  /etc/passwd                                        // 简写
awk  -F:  '{if($1~/mail/) {print $1}}'   /etc/passwd                                    // 全写
awk  -F:  '{if($1~/mail/) {print $1} else {print $2}}'  /etc/passwd             //if ... else ...
  
  
条件表达式
==   !=   >   >=  
awk  -F ":"  '$1=="mysql"{print $3}'  /etc/passwd  
awk  -F ":"  '{if($1=="mysql") print $3}'  /etc/passwd           // 与上面相同 
awk  -F ":"  '$1!="mysql"{print $3}'  /etc/passwd                  // 不等于
awk  -F ":"  '$3>1000{print $3}'  /etc/passwd                       // 大于
awk  -F ":"  '$3>=100{print $3}'  /etc/passwd                      // 大于等于
awk  -F ":"  '$3<1{print $3}'  /etc/passwd                             // 小于
awk  -F ":"  '$3<=1{print $3}'  /etc/passwd                          // 小于等于
  
逻辑运算符
&&　|| 
awk  -F:  '$1~/mail/ && $3>8 {print }'  /etc/passwd          // 逻辑与，$1匹配mail，并且$3>8
awk  -F:  '{if($1~/mail/ && $3>8) print }'  /etc/passwd
awk  -F:  '$1~/mail/ || $3>1000 {print }'  /etc/passwd        // 逻辑或
awk  -F:  '{if($1~/mail/ || $3>1000) print }'  /etc/passwd 
  
数值运算
awk  -F:  '$3 > 100'  /etc/passwd    
awk  -F:  '$3 > 100 || $3 < 5'  /etc/passwd  
awk  -F:  '$3+$4 > 200'  /etc/passwd
awk  -F:  '/mysql|mail/{print $3+10}'  /etc/passwd                     // 第三个字段加10打印 
awk  -F:  '/mysql/{print $3-$4}'  /etc/passwd                              // 减法
awk  -F:  '/mysql/{print $3*$4}'  /etc/passwd                              // 求乘积
awk  '/MemFree/{print $2/1024}'  /proc/meminfo                   // 除法
awk  '/MemFree/{print int($2/1024)}'  /proc/meminfo            // 取整
  
输出分隔符OFS
awk  '$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}'  OFS= "\t"  netstat .txt
awk  '$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}'  OFS= "\t"  netstat .txt        
// 输出字段6匹配WAIT的行，其中输出每行行号，字段4，5,6，并使用制表符分割字段
  
输出处理结果到文件
①在命令代码块中直接输出    route -n| awk  'NR!=1{print > "./fs"}'   
②使用重定向进行输出           route -n| awk  'NR!=1{print}'   > . /fs
  
格式化输出
netstat  -anp| awk  '{printf "%-8s %-8s %-10s\n",$1,$2,$3}' 
printf 表示格式输出
%格式化输出分隔符
-8长度为8个字符
s表示字符串类型
打印每行前三个字段，指定第一个字段输出字符串类型(长度为8)，第二个字段输出字符串类型(长度为8),
第三个字段输出字符串类型(长度为10)
netstat  -anp| awk  '$6=="LISTEN" || NR==1 {printf "%-10s %-10s %-10s \n",$1,$2,$3}'
netstat  -anp| awk  '$6=="LISTEN" || NR==1 {printf "%-3s %-10s %-10s %-10s \n",NR,$1,$2,$3}'
  
IF语句
awk  -F:  '{if($3>100) print "large"; else print "small"}'  /etc/passwd
small
small
small
large
small
small
awk  -F:  'BEGIN{A=0;B=0} {if($3>100) {A++; print "large"} else {B++; print "small"}} END{print A,"\t",B}'  /etc/passwd 
                                                                                                                  
  //ID 大于100,A加1，否则B加1
awk  -F:  '{if($3<100) next; else print}'  /etc/passwd                          // 小于100跳过，否则显示
awk  -F:  'BEGIN{i=1} {if(i<NF) print NR,NF,i++ }'  /etc/passwd   
awk  -F:  'BEGIN{i=1} {if(i<NF) {print NR,NF} i++ }'  /etc/passwd
另一种形式
awk  -F:  '{print ($3>100 ? "yes":"no")}'   /etc/passwd 
awk  -F:  '{print ($3>100 ? $3":\tyes":$3":\tno")}'   /etc/passwd
  
while 语句
awk  -F:  'BEGIN{i=1} {while(i<NF) print NF,$i,i++}'  /etc/passwd 
7 root 1
7 x 2
7 0 3
7 0 4
7 root 5
7  /root  6
  
数组
netstat  -anp| awk  'NR!=1{a[$6]++} END{for (i in a) print i,"\t",a[i]}'
netstat  -anp| awk  'NR!=1{a[$6]++} END{for (i in a) printf "%-20s %-10s %-5s \n", i,"\t",a[i]}'
9523                               1     
9929                               1     
LISTEN                            6     
7903                               1     
3038 /cupsd                    1     
7913                               1     
10837                             1     
9833                               1     
  
应用1
awk  -F:  '{print NF}'  helloworld.sh                                                        // 输出文件每行有多少字段
awk  -F:  '{print $1,$2,$3,$4,$5}'  helloworld.sh                                  // 输出前5个字段
awk  -F:  '{print $1,$2,$3,$4,$5}'  OFS= '\t'  helloworld.sh                  // 输出前5个字段并使用制表符分隔输出
awk  -F:  '{print NR,$1,$2,$3,$4,$5}'  OFS= '\t'  helloworld.sh            // 制表符分隔输出前5个字段，并打印行号
  
应用2
awk  -F '[:#]'  '{print NF}'   helloworld.sh                                                   // 指定多个分隔符: #，输出每行多少字段
awk  -F '[:#]'  '{print $1,$2,$3,$4,$5,$6,$7}'  OFS= '\t'  helloworld.sh    // 制表符分隔输出多字段
  
应用3
awk  -F '[:#/]'  '{print NF}'  helloworld.sh                                                // 指定三个分隔符，并输出每行字段数
awk  -F '[:#/]'  '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11,$12}'  helloworld.sh      // 制表符分隔输出多字段
  
应用4
计算 /home 目录下，普通文件的大小，使用KB作为单位
ls  -l| awk  'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",sum/1024,"KB"}'
ls  -l| awk  'BEGIN{sum=0} !/^d/{sum+=$5} END{print "total size is:",int(sum/1024),"KB"}'          //int 是取整的意思
  
应用5
统计 netstat  -anp 状态为LISTEN和CONNECT的连接数量分别是多少
netstat  -anp| awk  '$6~/LISTEN|CONNECTED/{sum[$6]++} END{for (i in sum) printf "%-10s %-6s %-3s \n", i," ",sum[i]}'
  
应用6
统计 /home 目录下不同用户的普通文件的总数是多少？
ls  -l| awk  'NR!=1 && !/^d/{sum[$3]++} END{for (i in sum) printf "%-6s %-5s %-3s \n",i," ",sum[i]}'   
mysql        199 
root           374 
统计 /home 目录下不同用户的普通文件的大小总size是多少？
ls  -l| awk  'NR!=1 && !/^d/{sum[$3]+=$5} END{for (i in sum) printf "%-6s %-5s %-3s %-2s \n",i," ",sum[i]/1024/1024,"MB"}'
  
应用7
输出成绩表
awk  'BEGIN{math=0;eng=0;com=0; printf  "Lineno.   Name    No.  
   Math   English   Computer    Total\n"; printf 
"------------------------------------------------------------\n" }{math+=$3;
  eng+=$4; com+=$5; printf  "%-8s %-7s %-7s %-7s %-9s %-10s %-7s 
\n",NR,$1,$2,$3,$4,$5,$3+$4+$5} END{ printf 
"------------------------------------------------------------\n" ; printf 
"%-24s %-7s %-9s %-20s \n" , "Total:" ,math,eng,com; printf  "%-24s %-7s %-9s
  %-20s \n "," Avg:",math /NR ,eng /NR ,com /NR }' test0
 
[root@localhost home] # cat test0 
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62

wKiom1mRamDB54qHAABJorQ2598277.jpg















本文转自leonardos51CTO博客，原文链接：http://blog.51cto.com/leomars/1956197 ，如需转载请自行联系原作者



文章标签：
云数据库 RDS MySQL 版
关系型数据库
Linux
MySQL
Perl
关键词：
Linux命令
Linux awk
Linux awk命令
Linux awk命令详解
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境，其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
技术小甜
目录
相关文章
追逐时光者
|
12天前
|
Web App开发 Linux 网络安全
工作中常用到的Linux命令
工作中常用到的Linux命令
追逐时光者
77 1
程序三两行
|
12天前
|
Web App开发 Java Linux
Linux之Shell基本命令篇
Linux之Shell基本命令篇
程序三两行
37 1
Linux之Shell基本命令篇
冷冻工厂
|
12天前
|
Linux Perl
Linux|从 STDIN 读取 Awk 输入
Linux|从 STDIN 读取 Awk 输入
冷冻工厂
20 4
SarPro
|
9天前
|
NoSQL Linux Shell
常用的 Linux 命令
常用的 Linux 命令
SarPro
32 9
Jack20
|
2天前
|
安全 Linux 开发工具
Linux中可引起文件时间戳改变的相关命令
【4月更文挑战第12天】Linux中可引起文件时间戳改变的相关命令
Jack20
9 0
wljslmz
|
3天前
|
域名解析 网络协议 Linux
Linux 中的 Nslookup 命令怎么使用？
【4月更文挑战第12天】
wljslmz
22 6
Linux 中的 Nslookup 命令怎么使用？
Safenetworkaccess
|
4天前
|
运维 网络协议 Unix
18.系统知识-Linux常用命令
18.系统知识-Linux常用命令
Safenetworkaccess
42 0
Hello阿尔法
|
5天前
|
网络协议 Ubuntu Linux
Linux 下 TFTP 服务搭建及 U-Boot 中使用 tftp 命令实现文件下载
Linux 下 TFTP 服务搭建及 U-Boot 中使用 tftp 命令实现文件下载
Hello阿尔法
12 0
zhaokk
|
5天前
|
Linux Go
Linux命令Top 100驱动人生! 面试必备
探索Linux命令不再迷茫！本文分10部分详解20个基础命令，带你由浅入深掌握文件、目录管理和文本处理。 [1]: <https://cloud.tencent.com/developer/article/2396114> [2]: <https://pan.quark.cn/s/865a0bbd5720> [3]: <https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH>
zhaokk
49 0
薛伟同学
|
8天前
|
缓存 运维 监控
Linux系统监控利器：探索常用命令及数据保存技巧
Linux系统监控利器：探索常用命令及数据保存技巧
薛伟同学
27 4
Linux系统监控利器：探索常用命令及数据保存技巧

热门文章

最新文章

  • 1
    Linux基础与服务器架构综合小实践
  • 2
    网络名称空间在Linux虚拟化技术中的位置
  • 3
    【Linux系统编程】深入解析Linux中read函数的错误场景
  • 4
    【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
  • 5
    【Shell 命令集合 文件管理】Linux 更新locate命令所使用的数据库 updatedb命令解析
  • 6
    Linux如何检查文件夹的大小？
  • 7
    Linux 命令大全 & CentOS常用运维命令
  • 8
    linux7安装elasticsearch-7.4.0集群配置
  • 9
    深入解析Linux C/C++ 编程中的内存泄漏问题
  • 10
    探秘Linux特殊设备文件：（/dev/null,/dev/zero,/dev/random,/dev/urandom等）
  • 1
    linux实验参考1
    12
  • 2
    Linux中认识路径的概念
    9
  • 3
    Linux创建空白文件
    6
  • 4
    通过Linux挂载Windows端NFS服务实现板端Linux传输文件到PC
    22
  • 5
    Linux实现socket网络通信
    13
  • 6
    Linux 常用命令汇总（五）：网络操作命令
    25
  • 7
    Linux安装HBase的详细教程及常用方法
    77
  • 8
    Linux系统之rename命令的基本使用
    141
  • 9
    Linux系统之file命令的基本使用
    45
  • 10
    Linux 常用命令汇总（四）：信息显示 & 用户管理
    24

    • 相关课程

    更多
  • Linux MySQL服务器搭建与应用
  • Linux用户和组管理
  • Linux基本命令
  • Linux企业运维实战 - 入门及常用命令
  • Linux Shell 编程入门与实战
  • Linux网络进阶 - TCP/IP协议及OSI七层模型

    • 相关电子书

    更多
  • Alibaba Cloud Linux 3 发布
  • ECS系统指南之Linux系统诊断
  • ECS运维指南 之 Linux系统诊断

    • 相关实验场景

    更多
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • Alibaba Cloud Linux操作系统的安装及使用
  • Alibaba Cloud Linux操作系统Shell程序
  • 手动部署MySQL数据库（Alibaba Cloud Linux 2）
  • 部署并使用Docker（Alibaba Cloud Linux 3）
  • 部署并使用Docker（Alibaba Cloud Linux 2）

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    阿里云oss简介和使用流程