数据工程师，常用Shell命令

select word,count(1) cntfrom file group by wordorder by cnt desc limit 5;

如果对sql语句熟悉的话，上面的形式应该更容易理解。虽然实现的思想和方式非常简单，但在实际的探索性数据分析中使用却非常频繁。

02 探索性分析

比如在日志分析中，有时并没有非常明确的目标，或者即使有明确的目标，通常各种数据也并没有明确的定义。比如，别人丢给你一个压缩文件，说想分析一下里面有哪些是异常的访问请求。任务描述就是这样，没有更明确的了。

拿到日志文件和这样的分析任务，就需要进行各种可能的探索性分析。先看一下文件的格式，是否压缩过，使用gzip压缩还是tar压缩。解压后，需要先大概了解一下，文件是什么样的格式。对于网络请求的日志文件，是一行一个请求和响应，还是多行一个请求和响应。查看文件有多少行，查看文件占用空间大小。如果解压后包含多个目录或者文件，同样的一个命令，更能发挥强大效果。此时，通常需要如下命令：

gzip/tar：压缩/解压
cat/zcat：文件查看
less/more：文件查看，支持gz压缩格式直接查看
head/tail：查看文件前/后10行
wc：统计行数、单词数、字符数
du -h -c -s：查看空间占用

上面有一个比较有趣的命令组，less和more，这两个都可以分页查看文件。最开始有的more命令，好像是当时more不支持向后翻页。于是一帮人就在此基础上进行了改进，直接叫less，和more同样的功能只是更强大些。因此，也发展出了“less is more"的哲学，“少即是多”，而且少比多更好。这种思想，在产品设计与代码优化中都有体现。

了解文件的大概信息后，可能需要提取一行中某个字段的内容，或者需要搜索某些行出来，或者需要对某些字符或者行进行一定的修改操作，或者需要在众多的目录和文件中找出某此天的日志（甚至找到后需要对这些天的日志进行统一处理），此时下面这些命令可以帮你：

awk：命令行下的数据库操作工具
join/cut/paste：关联文件/切分字段/合并文件
fgrep/grep/egrep：全局正则表达式查找
find：查找文件，并且对查找结果批量化执行任务
sed：流编辑器，批量修改、替换文件
split：对大文件进行切分处理，按多少行一个文件，或者多少字节一个文件
rename：批量重命名(Ubuntu上带的perl脚本，其它系统需要安装)，使用-n命令进行测试

如：

# 解压缩日志 $ gzip -d a.gz$ tar zcvf/jcvf one.tar.bz2 one# 直接查看压缩日志 $ less a.gz  # 无需先解压

# 查询字符串，并显示匹配行的前3行和后3行内容 fgrep 'yunjie-talk' -A 3 -B 3 log.txt# 在当前目前(及子目录)下，所有的log文件中搜索字符串hacked by: $ find . -name "*.log" | xargs fgrep "hacked by"

$ cat log.gz | gzip -d | fgrep -f japan.ip > japan.log

cat 0000* | sed 's/\x1/ /g' > log.txt

$ date -d today +%Y%m%d 20160320 $ date -d yesterday +%Y%m%d 20160319

# 当前的时间 $ date +%s1458484275 $date -d @1458484275 Sun Mar 20 22:31:15 CST 2016

# 排序两个文件 $ sort a.txt > a.txt.sort $ sort b.txt > b.txt.sort # 求只出现在c.sh中的内容 $ comm -2 -3 a.txt.sort b.txt.sort

if [ -d ${base_d} ];      then mkdir -p ${base_d};fi

while do     do_something;done < file.list

for x in *.log.gz;do     gzip -d ${x};done

$for num in `seq 8 -1 1`;do dd=`date --date="${num} day ago" +%Y%m%d`;echo ${dd};done20160312 20160313 20160314 20160315 20160316 20160317 20160318 20160319

20160320 目录      10.1.0.1_20160320*.log.gz   目录          201603200000.log.gz          文件          201603200010.log.gz          文件      10.1.0.2_20160320*.log.gz   目录          201603200000.log.gz         文件          201603200010.log.gz         文件

$ for d in 201603??;do echo ${d}; cd ${d}; rename -n 's/\*\.log\.gz//' *.log.gz ; cd ..;done