文本利器AWK
jopen
9年前
awk 是一个强大的文本分析工具,相对于 grep 的查找,sed 的编辑,awk 在其对数据分析并生成报告时,显得尤为强大。简单来说 awk 就是把文件 逐行 的读入,以 空格 为默认分隔符将每行切片,切开的部分再进行各种分析处理。
基本的语法是
awk 'BEGIN{ print something} pattern {commands} \ END{print something}' file
AWK BEGIN用法
$ echo -e "line1\nline2" | awk 'BEGIN{ print "start"} { print } \ END { print "END" }' start line1 line2 END
特殊变量
$ echo -e "line1 f2 f3 \n line2 f4 f5\n line3 f6 f7" | awk '{ print "Line no:"NR",No of fields:"NF, "$0="$0, "$1="$1,"$2="$2, "$3="$3 }' Line no:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3 Line no:2, No of fields:3 $0= line2 f4 f5 $1=line2 $2=f4 $3=f5 Line no:3, No of fields:3 $0= line3 f6 f7 $1=line3 $2=f6 $3=f7
NR:当前行号
NF:当前行字段数量
$ seq 5 | awk 'BEGIN { getline;print "Read ahead first line", $0} \ {print $0}' Read ahead first line 1 2 3 4 5
$0:当前行内容
$1:当前行第一个字段内容
$2:当前行第二个字段内容
Shell 自带的还有其他的一些特殊变量
$0 这个程式的执行名字 $n 这个程式的第n个参数值,n=1..9 $* 这个程式的所有参数,此选项参数可超过9个。 $# 这个程式的参数个数 $$ 这个程式的PID(脚本运行的当前进程ID号) $! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号) $? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误,其他任何值表明有错误) $- 显示shell使用的当前选项,与set命令功能相同 $@ 跟$*类似,但是可以当作数组用
设置字段定界符
$ awk 'BEGIN { FS=":" }{print $NF}' /etc/passwd /bin/bash /usr/sbin/nologin /usr/sbin/nologin /usr/sbin/nologin /bin/sync
从 awk 中读取命令的输出
$ echo | awk '{ "grep root /etc/passwd" | getline cmdout; print cmdout }' root:x:0:0:root:/root:/bin/bash
单词计数
#!/bin/bash if [ $# -ne 1 ]; then echo "Usage: $0 filename"; exit -1 fi filename=$1 egrep -o "\b[a-zA-Z]+\b" $filename | \ awk '{ count[$0]++ } END{ printf("%-14s%s\n", "word", "count"); for(ind in count) { printf("%-14s%d\n", ind, count[ind]); } }'
egrep -o这一行将文本中每一个单词单独作一行输出,为了下面解析方便。
awk 对每行的一个单词计数,主要是利用关联数组的特性,使用count[$0]++来存储 Key-Value 计数。
输出如下:
word count dfs 1 gds 2
文件去重
#!/bin/bash ls -lS --time-style=long-iso | awk 'BEGIN { getline; getline; name1=$8; size=$5 } { name2=$8; if ( size==$5 ) { "md5sum "name1 | getline; csum1=$1; "md5sum "name2 | getline; csum2=$1; if ( csum1==csum2) { print name1; print name2 } }; size=$5; name1=name2; }' | sort -u > duplicate_files cat duplicate_files | xargs -I {} md5sum {} | sort | uniq -w 32 |\ awk '{ print "^"$2"$" }' | sort -u > duplicate_sample echo Removing comm duplicate_files duplicate_sample -2 -3 | tee /dev/stderr | xargs rm echo Removed duplicates files successfully.
这段代码用来对文件进行去重。
BEGIN 后的代码z只执行一次,去掉第一行计数。
total 1068 -rw-r--r-- 1 huangyi huangyi 1048576 2015-11-15 10:44 junk.data -rw-rw-rw- 1 huangyi huangyi 761 2015-11-15 18:32 remove_duplicates.sh -rw-r--r-- 1 huangyi huangyi 79 2015-11-15 17:39 duplicate_sample
name1 存储第八列的文件名,size 存储第五列的文件大小。
接下来的代码对比相近两行的 md5 值来判断文件是否相同。
size=$5; name1=name2;用来更新比较行。
duplicate_files 存储的是有重复的文件。
Github push 自动化脚本
#!/bin/bash modified_files=`git status | awk ' /modified:/ {print $2}'` git add $modified_files git status git commit -m "commit from tool" git push origin master
一般对文件比较多的操作就是修改,因此可以用此脚本 push 到 Github 上。
awk 找出修改文件的路径,多个文件的路径会用空格隔开。
参考
https://www.gnu.org/software/gawk/manual/html_node/Using-BEGIN_002fEND.html