使用Python解析nginx日志文件

   <p>项目的一个需求是解析nginx的日志文件。简单的整理如下：</p>    <h2>日志规则描述</h2>    <p>首先要明确自己的Nginx的日志格式，这里采用默认Nginx日志格式：</p>    <pre>  <code class="language-python"> log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '                    '$status $body_bytes_sent "$http_referer" '                    '"$http_user_agent" "$http_x_forwarded_for"';  </code></pre>    <p>其中一条真实记录样例如下：</p>    <pre>  <code class="language-python">172.22.8.207 - - [16/Dec/2014:17:57:35 +0800] "GET /report?DOmjjuS6keWJp+WculSQAgdUkAIPODExMzAwMDJDN0FC HTTP/1.1" 200 0 "-" "XXXXXXX/1.0.16; iPhone/iOS 8.1.2; ; 8DA77E2F91D0"  </code></pre>    <p>其中，客户端型号信息用 XXXXXXX 代替。</p>    <p>项目中已经按照业务规则对Nginx日志文件进行了处理命名规则如下：</p>    <pre>  <code class="language-python">ID-ID-YYMMDD-hhmmss  </code></pre>    <p>并且所有的日志文件存放在统一路径下。</p>    <h2>解决思路</h2>    <h3>获取所有日志文件 path</h3>    <p>这里使用Python的 glob 模块来获取日志文件path</p>    <pre>  <code class="language-python">import glob  def readfile(path):      return glob.glob(path + '*-*-*-*')  </code></pre>    <h3>获取日志文件中每一行的内容</h3>    <p>使用Python的 linecache 模块来获取文件行的内容</p>    <pre>  <code class="language-python">importlinecache  defreadline(path):      return linecache.getlines(path)  </code></pre>    <p>注意：linecache模块使用了缓存，所以存在以下问题：</p>    <ol>     <li>在使用linecache模块读取文件内容以后，如果文件发生了变化，那么需要使用 linecache.updatecache(filename) 来更新缓存，以获取最新变化。</li>     <li>linecache模块使用缓存，所以会耗费内存，耗费量与要解析的文件相关。最好在使用完毕后执行 linecache.clearcache() 清空一下缓存。</li>    </ol>    <p>当然，作为优化，这里可以利用 生成器 来进行优化。暂且按下不表。</p>    <h3>处理日志条目</h3>    <p>一条日志信息就是一个特定格式的字符串，因此使用 正则表达式 来解析，这里使用Python的 re 模块。</p>    <p>下面，一条一条建立规则：</p>    <p>规则</p>    <pre>  <code class="language-python">    ip = r"?P[d.]*"      date = r"?Pd+"      month = r"?Pw+"      year = r"?Pd+"      log_time = r"?PS+"      method = r"?PS+"      request = r"?PS+"      status = r"?Pd+"      bodyBytesSent = r"?Pd+"      refer = r"""?P               [^"]*               """      userAgent=r"""?P                  .*                 """  </code></pre>    <h3>解析</h3>    <pre>  <code class="language-python">p = re.compile(r"(%s) - - [(%s)/(%s)/(%s):(%s) [S]+] "(%s)?[s]?(%s)?.*?" (%s) (%s) "(%s)" "(%s).*?"" %( ip, date, month, year, log_time, method, request, status, bodyBytesSent, refer, userAgent ), re.VERBOSE)  m = re.findall(p, logline)  </code></pre>    <p>这样，就可以得到日志条目中各个要素的原始数据。</p>    <h3>格式及内容转化</h3>    <p>得到日志原始数据之后，需要根据业务要求，对原始数据进行格式及内容转化。这里需要处理的内容包括：时间，request，userAgent</p>    <p>时间格式转化</p>    <p>在日志信息原始数据中存在 Dec 这样的信息，利用Python的 time 模块可以方便的进行解析</p>    <pre>  <code class="language-python">importtime     defparsetime(date, month, year, log_time):      time_str = '%s%s%s %s' %(year, month, date, log_time)      return time.strptime(time_str, '%Y%b%d %H:%M:%S')  </code></pre>    <p>解析request</p>    <p>在日志信息原始数据中得到的 request 的内容格式为：</p>    <pre>  <code class="language-python">/report?XXXXXX  </code></pre>    <p>这里只需要根据协议取出 XXXXXX 即可。</p>    <p>这里仍然采用Python的 re 模块</p>    <pre>  <code class="language-python">import re  def parserequest(rqst):      param = r"?P.*"      p = re.compile(r"/report?(%s)" %param, re.VERBOSE)      return re.findall(p, rqst)  </code></pre>    <p>接下来需要根据业务协议解析参数内容。这里需要先利用 base64 模块解码，然后再利用 struct 模块解构内容：</p>    <pre>  <code class="language-python">importstruct  importbase64  defparseparam(param):      decodeinfo = base64.b64decode(param)      s = struct.Struct('!x' + bytes(len(decodeinfo) - (1 + 4 + 4 + 12)) + 'xii12x')      return s.unpack(decodeinfo)  </code></pre>    <p>解析userAgent</p>    <p>在日志信息原始数据中userAgent数据的格式为：</p>    <pre>  <code class="language-python">XXX; XXX; XXX; XXX  </code></pre>    <p>根据业务要求，只需要取出最后一项即可。</p>    <p>这里采用 re 模块来解析。</p>    <pre>  <code class="language-python">importre     defparseuseragent(useragent):      agent = r"?P.*"      p = re.compile(r".*;.*;.*;(%s)" %agent, re.VERBOSE)      return re.findall(p, useragent)  </code></pre>    <p>至此，nginx日志文件解析基本完成。</p>    <p>剩下的工作就是根据业务需要，对获得的基本信息进行处理。</p>    <p>来自： <a href="/misc/goto?guid=4959670075217734291" rel="nofollow">http://python.jobbole.com/84724/</a></p>