AWK报告生成器
一.awk简介
- 其名称得自于它的创始人阿尔佛雷德·艾侯（ Alfred Aho） 、彼得·温伯格（Peter Weinberger） 和布莱恩·柯林（Brian Kernighan） 姓氏的首个字母
- AWK是一个文本处理工具，Linux及Unix环境中现有的功能最强大的数据处理引擎之一
- 现在默认linux系统下日常使用的是gawk
- 这种编程及数据操作语言的最大功能取决于一个人所拥有的知识
二.Awk工作原理
- 逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令；
- sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”再进行处理；
- awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示；
- 在使用awk命令的过程中，可以使用逻辑操作符“&&”表示与、“||”表示或、“！”表示非，还可以进行简单的数学运算如+-*/%^，分别表示加减乘除取余和乘方
三.AWK的基本语法
awk -F 分隔符 'BEGIN{ commands } pattern{ commands } END{ commands }'
[INPUTFILE…]3.1.awk的输出
3.1.1.print
语法
print item1，item2，……- 各项目之间使用逗号隔开，而输出时则以空白字符分隔；
- item可以是字符串，可以是变量
示例；
[root@haha shells]# awk 'BEGIN{print "hello\nnihao\nhi"}'
hello
nihao
hi
[root@haha shells]# awk 'BEGIN{print "hello","nihao","hi"}'
hello nihao hi
[root@haha shells]# awk 'BEGIN{NUM=1;print NUM}'
1
[root@haha shells]# awk 'BEGIN{NUM=1;print "NUM"}'
NUM
在 AWK 命令使用时
字符不加引号，字符表示变量
字符加引号，字符表示其本身
3.1.2.printf
语法：
printf("format\n", [arguments]) 格式说明
format 是一个用来描述输出格式的字符串， format 格式的指示符都以 % 开头，后跟一个字符，如下：
示例：
[root@lee ~]# vim testfile
1 easy lee linux
2 timinglee rhce LINUX
3 LEE red hat 打印字符 ASIC 码
[root@haha shells]# echo 1111 |awk '{printf "%c\n",$0}'
ї
打印十进制整数
[root@haha shells]# echo 3.1415926 |awk '{printf "%d\n",$0}'
3
显示科学计算数值
[root@haha shells]# echo 100 | awk '{printf "%e\n",$0}'
1.000000e+02
显示浮点数
[root@haha shells]# echo 3.1415926 |awk '{printf "%.3f\n",$0}'
3.142
显示科学计算浮点
[root@haha shells]# echo 0.0000000001 | awk '{printf "%G\n",$0}'
1E-10
显示无符号整数
[root@haha shells]# echo -1 | awk '{printf "%u\n",$0}'
18446744073709551615
打印文件第一列
[root@haha shells]# vim testfile
1 easy lee linux
2 timinglee rhce LINUX
3 LEE red hat[root@haha shells]# vim testfile
[root@haha shells]# awk '{print $1}' testfile
1
2
3
打印文件 1~2 列
[root@haha shells]# awk '{printf "%s+%s=%s\n",$1,$2,$3}' testfile
1+easy=lee
2+timinglee=rhce
3+LEE=red
打印百分号
[root@haha shells]# awk 'BEGIN{printf "3%%\n"}'
3%
修饰符
示例
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%3d\n",$0}'123
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%4d\n",$0}'123
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+d\n",$0}'
+1
+2
+3
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+3d\n",$0}'+1+2+3
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%-d\n",$0}'
1
2
3
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+-d\n",$0}'
+1
+2
+3
输出重定向
语法：
printf items > output-file
print items >> output-file
print items | command 示例：
重定向
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+-d\n",$0 > "file"}'
[root@haha shells]# cat file
+1
+2
+3
追加
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+4d\n",$0 >> "file"}'
[root@haha shells]# cat file
+1
+2
+3+1+2+3
管道
[root@haha shells]# echo -e "1\n2\n3" |awk '{printf "%+4d\n",$0 | "wc -l"}'
3
四.awk中的变量
4.1.awk中的内置变量
示例：
显示所有
[root@haha shells]# head -5 /etc/passwd > testfile
[root@haha shells]# awk '{print $0}' testfile
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
显示指定列
[root@haha shells]# awk -F : '{print $1,$2}' testfile
root x
bin x
daemon x
adm x
lp x
显示每行有几列
[root@haha shells]# awk -F : '{print NF}' testfile
7
7
7
7
7
显示行号
[root@haha shells]# awk -F : '{print NR,$1,$2}' testfile
1 root x
2 bin x
3 daemon x
4 adm x
5 lp x
显示被处理的文件名称
[root@haha shells]# awk -F : '{print FILENAME,$1,$2}' testfile
testfile root x
testfile bin x
testfile daemon x
testfile adm x
testfile lp x
指定分隔符：
[root@haha shells]# awk 'BEGIN{FS=":"}{print FILENAME,$1,$2}' testfile
testfile root x
testfile bin x
testfile daemon x
testfile adm x
testfile lp x
指定输出结果分隔符
[root@haha shells]# awk 'BEGIN{FS=":";OFS="@"}{print FILENAME,$1,$2}' testfile
testfile@root@x
testfile@bin@x
testfile@daemon@x
testfile@adm@x
testfile@lp@x
记录分隔符
[root@haha shells]# echo -e "a\nb\nc" | awk -F : 'BEGIN{RS="a";ORS="aa"}{print $1}'
aa
b
c
引用 shell 中的变量
[root@haha shells]# export a=1
[root@haha shells]# awk 'BEGIN{print ENVIRON["a"]}'
1
用户自定义变量
[root@haha shells]# awk 'BEGIN{test="lee";print test}'
lee
五.awk中的运算
5.1.基本运算符
示例
[root@haha ~]# awk 'BEGIN{a=2;b=3;print a+b,a-b,a*b,a/b,a^b,a%b}'
5 -1 6 0.666667 8 2
5.2.赋值运算
[root@haha ~]# awk 'BEGIN{a=2;print a}'
[root@haha ~]# vim file
1
2
3
[root@haha ~]# awk '{a+=2;print a}' file
[root@haha ~]# awk '{a-=2;print a}' file
[root@haha ~]# awk '{a*=2;print a}' file
[root@haha ~]# awk '{a%=2;print a}' file5.3.条件运算
- awk中的条件运算符只有一个，其语法如下： expression?value1:value2
- 这是一个三目运算符，当表达式expression的值为真时，返回值为value1；否则，返回值为value2
示例
[root@haha shells]# cat file
3 6
4 10
5 8
[root@haha shells]# awk '{max=$1>$2?$1:$2;print NR,"max=",max}' file
1 max= 6
2 max= 10
3 max= 8
5.4.逻辑运算符
awk 支持 3 种逻辑运算，分别为逻辑与、逻辑或和逻辑非
示例
[root@haha shells]# awk 'BEGIN{if (2>4 && 4>3) print "yes"}'
[root@haha shells]# awk 'BEGIN{if (2>4 || 4>3) print "yes"}'
yes
[root@haha shells]# awk 'BEGIN{if (!(2<4)) print "yes"}'
[root@haha shells]# awk 'BEGIN{if (!(2>4)) print "yes"}'
yes
5.5 关系运算
示例
[root@haha shells]# head -5 /etc/passwd > passwd
[root@haha shells]# cat passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
[root@haha shells]# awk -F : '$7~/bash/{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
[root@haha shells]# awk -F : '$6!~/home/&&$7~/bash/{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
[root@haha shells]# awk -F : '$3=="1"{print $0}' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
[root@haha shells]# awk -F : '$3!="1"&&/bash/{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
[root@haha shells]# awk -F : '$3 <= 10 {print $0}' passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
六.awk中的模式
- 在awk中，匹配模式处于非常重要的地位，它决定着匹配模式后面的操作会影响到哪些文本行
- awk中的匹配模式主要包括
关系表达式
正则表达式
混合模式
BEGIN 模式
END 模式等
6.1 awk的关系模式
awk 提供了许多关系运算符， awk 允许用户使用关系表达式作为匹配模式，当某个文本行满足关系表达式时，将会执行相应的操作
[root@haha shells]# cat file
liming 80
wangmei 70
zhangsan 90
lisi 81
[root@haha shells]# awk '$2>80 {print $0}' file
zhangsan 90
lisi 81
6.2 正则表达式
awk 支持以正则表达式作为匹配模式
用户需要将正则表达式放在两条斜线之间
其基本语法如下： /regular_expression/
[root@haha shells]# awk '/^l/{print $0}' file
liming 80
lisi 81
[root@haha shells]# awk '/^l|z/{print $0}' file
liming 80
zhangsan 90
lisi 81
6.3 混合模式
awk 不仅支持单个的关系表达式或者正则表达式作为模式，还支持使用逻辑运算符 && 、 || 或者 ! 将多个表达式组合起来作为一个模式。其中，&& 表示逻辑与， || 表示逻辑或， ! 表示逻辑非
[root@haha shells]# awk '/^l|z/ && $2>80 {print $0}' file
zhangsan 90
lisi 81
6.4 区间模式
awk 以某个条件开始到某个条件结束，取这个区间内的所有，格式如下： pattern1, pattern2
[root@haha shells]# awk '/^wangmei/,$2==81 {print $0}' file
wangmei 70
zhangsan 90
lisi 81
6.5 BEGIN模式
- BEGIN模式是一种特殊的内置模式，其成立的时机为awk程序刚开始执行，但是又尚未读取任何数据之前
- 该模式所对应的操作仅仅被执行一次，当awk读取数据之后，BEGIN模式便不再成立
- 用户可以将与数据文件无关，而且在整个程序的生命周期中，只需执行1次的代码放在BEGIN模式对应的操作中
[root@haha shells]# awk 'BEGIN{print "helloworld"}'
helloworld
6.6 end模式
END 模式是 awk 的另外一种特殊模式，该模式成立的时机与 BEGIN 模式恰好相反，它是在 awk 命令处理完所有的数据，即将退出程序时成立，在此之前，END 模式并不成立。无论数据文件中包含多少行数据，在整个程序的生命周期中，该模式所对应的操作只被执行1 次。因此，一般情况下，用户可以将许多善后工作放在END 模式对应的操作中
[root@haha shells]# awk -F : '{print $1}END{print "end"}' passwd
root
bin
daemon
adm
lp
end