ELK 5.x 搭建大规模日志实时处理系统
MorrisFolse
8年前
<h3>一、背景</h3> <p>ELK Stack 是软件集合 <strong>E</strong> lasticsearch、 <strong>L</strong> ogstash、 <strong>K</strong> ibana 的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。</p> <p>其中，Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存储起来，方便业务方检索查询。</p> <p>Logstash 是一个日志收集、过滤、转发的中间件，主要负责将各条业务线的各类日志统一收集、过滤后，转发给 Elasticsearch 进行下一步处理。</p> <p>Kibana 是一个可视化工具，主要负责查询 Elasticsearch 的数据并以可视化的方式展现给业务方，比如各类饼图、直方图、区域图等。</p> <p>所谓“大规模”，指的是 ELK Stack 组成的系统以一种水平扩展的方式支持每天收集、过滤、索引和存储 TB 规模以上的各类日志。</p> <p>通常，各类文本形式的日志都在处理范围，包括但不限于 Web 访问日志，如 Nginx/Apache Access Log 。</p> <p>基于对日志的实时分析，可以随时掌握服务的运行状况、统计 PV/UV、发现异常流量、分析用户行为、查看热门站内搜索关键词等。</p> <h3>二、架构</h3> <p style="text-align: center;"><img src="https://simg.open-open.com/show/203bb7ac9bc23498dd8a3de65c87b891.png"></p> <p>ELK Stack 系统应用架构</p> <p>上图是 ELK Stack 实际应用中典型的一种架构，其中 filebeat 部署在具体的业务机器上，通过定时监控的方式获取增量的日志，并转发到 Kafka 消息系统暂存。</p> <p>Kafka 以高吞吐量的特征，作为一个消息系统的角色，接收从 filebeat 收集转发过来的日志，通常以集群的形式提供服务。</p> <p>然后，Logstash 从 Kafka 中获取日志，并通过 Input-Filter-Output 三个阶段的处理，更改或过滤日志，最终输出我们感兴趣的数据。通常，根据 Kafka 集群上分区(Partition)的数量，1:1 确定 Logstash 实例的数量，组成 Consumer Group 进行日志消费。</p> <p>最后，Elasticsearch 存储并索引 Logstash 转发过来的数据，并通过 Kibana 查询和可视化展示，达到实时分析日志的目的。</p> <p>Elasticsearch/Kibana 还可以通过安装 x-pack 插件实现扩展功能，比如监控 Elasticsearch 集群状态、数据访问授权等。</p> <h3>三、实现</h3> <p>我们一步步安装部署 ELK Stack 系统的各个组件，然后以网站访问日志为例进行数据实时分析。</p> <p>首先，到 ELK 官网 下载需要用到的 Filebeat/Logstash/Elasticsearch/Kibana 软件安装包。（推荐下载编译好的二进制可执行文件，直接解压执行就可以部署）</p> <p><strong>1、下载并配置 Filebeat，开启日志增量监控</strong></p> <p>本文使用的版本是 5.2.2，解压 Filebeat ，修改其中 filebeat.yml 的内容为：（详细内容参见本文附录链接）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/1e6286c50b6b008512301c619996249b.png"></p> <p>filebeat.yml 配置文件示例</p> <p>上述配置表示，Filebeat 定期监控：</p> <p>/path/to/my/nginx/access/*.log</p> <p>目录下所有以 .log 结尾的文件，并且将增量日志转发到 Kafka 集群。</p> <p>然后，后台启动 Filebeat 进程：</p> <p>nohup ./filebeat -c ./filebeat.yml &</p> <p>这时候，在浏览器上访问 Nginx 服务器并生成访问日志后，Filebeat 会及时的将日志转发到 Kafka 集群。转发的时候，Filebeat 会传输 JOSN 对象，而且原生的 Nginx 日志文本会作为 message 字段，示例如下：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/20e11911e98b96712a224410aa50af98.png"></p> <p>filebeat 传输内容</p> <p><strong>2、下载并配置 Kafka 集群</strong></p> <p>到 <a href="/misc/goto?guid=4959741794188194764" rel="nofollow,noindex">Kafka 官网</a> 下载安装包，本文使用的版本是 0.10.2.0，确认已安装 java 运行环境</p> <p>解压后，编辑配置文件 conf/server.properties：（详细内容参见本文附录链接）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/a2804d12e5263987b194c6651d09f5d1.png"></p> <p>Kafka server configuration</p> <p>启动 Zookeeper：</p> <p>nohup ./bin/zookeeper-server-start.sh config/zookeeper.properties &</p> <p>启动 Kafka Server：(指定 JMX_PORT 端口，可以通过 Kafka-manager 获取统计信息)</p> <p>JMX_PORT=9001</p> <p>nohup ./bin/kafka-server-start.sh config/server.properties &</p> <p><strong>2.1、安装 Kafka-Manager</strong></p> <p>kafka-manager 是 Yahoo 公司开源的一个 kafka 集群管理工具。</p> <p>可以在 Github 上下载安装： <a href="/misc/goto?guid=4959652581625670892" rel="nofollow,noindex">https://github.com/yahoo/kafka-manager</a></p> <p>如果你通过 sbt 编译太慢的话，可以直接下载本文附件，这是一个编译好的安装包，解压后，修改配置文件 conf/application.conf 即可运行：</p> <p>bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=8080</p> <p>然后，通过浏览器访问：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/de3b3235ee79902f228188b1cc1a82fe.png"></p> <p>Kafka-manager 界面</p> <p>3、下载并配置 Logstash</p> <p>本文使用的版本是 5.2.2，创建 logstash.conf 文件：（详细内容参见本文附录链接）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/b98fc6b99d4e1fd12fc5c8aef5ad7622.png"></p> <p>Logstash configuration</p> <p>配置文件主要分为三大部分： Input / Filter / Output，对应收集、过滤、转发三个阶段。显然，Input 阶段只需要指定 Kafka 集群相关信息即可，Output 阶段只需要指定 Elasticsearch 服务器相关的信息即可，比较复杂的是 Filter 过滤阶段。</p> <p>可以看到，上述配置中，grok 插件使用正则表达式将 Nginx 日志的各个字段匹配出来，包括访问用户 ip 地址、请求时间和地址、服务器响应字节以及用户标示 User-Agent 等。</p> <p>关于 Grok 的语法，可以参考： <a href="/misc/goto?guid=4959741794309701924" rel="nofollow,noindex">https://grokdebug.herokuapp.com/</a></p> <p>然后，mutate、ruby、useragent、date、kv 等插件配合使用，过滤并获取到感兴趣的字段，最后输出如下示例的 JOSN 对象：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/73d251c6f9e1dfb5095958ef2ed22953.png"></p> <p>Logstash 转换后输出的 JSON 对象</p> <p>这就是最终存储在 Elasticsearch 中的文档内容。</p> <p>接下来，就可以启动 Logstash 进程了：</p> <p>nohup ./bin/logstash -f ./logstash.conf &</p> <p><strong>4、配置并启动 Elasticsearch 服务</strong></p> <p>本文使用的是 5.2.2 版本，下载并解压后，修改 conf/elasticsearch.yml 内容如下：（详细内容参见本文附录链接）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/897b0ecaa3756781592756c2598b2479.png"></p> <p>Elasticsearch configuration</p> <p>指定文档和日志的存储路径以及监听的地址和端口。</p> <p>注意，应当保证有足够的磁盘空间来存储文档，否则 ES 将拒绝写入新数据。</p> <p>安装 x-pack 插件：</p> <p>bin/elasticsearch-plugin install x-pack</p> <p>另外，不能使用 root 用户启动 Elasticsearch 进程，建议新建账户 elasticsearch。</p> <p>环境变量 ES_JAVA_OPTS 被读取为 Elasticsearch 的最大内存空间，一般设置为你机器内存的一半即可，启动 ES 服务：</p> <p>ES_JAVA_OPTS="-Xms4g -Xmx4g"</p> <p>nohup ./bin/elasticsearch &</p> <p>如果启动 Elasticsearch 出现以下错误提示：</p> <p>max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]</p> <p>max file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536]</p> <p>那么需要修改系统配置：</p> <p>vi /etc/sysctl.conf 修改虚拟内存配置：</p> <p>vm.max_map_count = 262144</p> <p>对于 Ubuntu 系统需要执行：</p> <p>sudo sysctl -w vm.max_map_count=262144</p> <p>可以通过</p> <p>sudo sysctl -w | grep max_map_count</p> <p>查看修改结果是否生效</p> <p>vi /etc/security/limits.conf 修改 文件描述符限制：</p> <p>elasticsearch soft nofile 65536</p> <p>elasticsearch hard nofile 65536</p> <p>然后，退出终端，重新使用 elasticsearch 账户登录，启动 Elasticsearch 后，通过浏览器访问 9200 端口，查看 Elasticsearch 状态：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/d059c4843584407d288008f584ff9f38.png"></p> <p>Elasticsearch server</p> <p><strong>4.1、安装 Cerebro</strong></p> <p>Cerebro 时一个第三方的 Elasticsearch 集群管理软件，可以方便地查看集群状态：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/e5640c570948ed33e0281326cb60cbe1.png"></p> <p>Cerebro 界面</p> <p>下载地址： <a href="/misc/goto?guid=4959741794385180449" rel="nofollow,noindex">https://github.com/lmenezes/cerebro</a></p> <p>启动进程后，可以在浏览器查看：</p> <p>bin/cerebro -Dhttp.port=1234 -Dhttp.address=127.0.0.1</p> <p>可以在管理后台修改模板，优化索引配置，例如：</p> <p>关闭备份，节省磁盘空间："number_of_replicas": "0"</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/a31fb5aa6449657a10832676e45ed18c.png"></p> <p>修改索引配置</p> <p><strong>5、配置并启动 Kibana 服务</strong></p> <p>本文使用的版本是5.2.2，下载 Kibana ，修改 conf/kibana.yml ，内容为：（详细内容参见本文附录链接）</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/10572a2d98595405d353149375e2001d.png"></p> <p>Kibana configuration</p> <p>安装 x-pack 插件：</p> <p>bin/kibana-plugin install x-pack</p> <p>启动 Kibana 进程：</p> <p>nohup ./bin/kibana &</p> <p>tips：最好手动退出一下终端</p> <p>exit</p> <p>否则，关闭终端后，Kibana 进程可能也停止运行了。</p> <p>然后，就可以在浏览器访问 Kibana 了：</p> <p><img src="https://simg.open-open.com/show/ecc081b7331c5eaef32e3c6a4f9ae51d.png"></p> <p>Kibana 界面</p> <p>注意：</p> <p>初次访问 Kibana 的时候，需要配置一个默认的 ES 索引，一般填写 .monitoring* 即可，这是因为在上述安装 x-pack 后，会自动开始监控 Elasticsearch 集群的状态，并将监控结果以 .monitoring* 命名索引文件</p> <p>接下来，就可以使用 Kibana 的可视化功能分析日志了：</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/5de198de63fab06f32ba2614252a4090.png"></p> <p>Kibana Visualize 功能</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/61e199de441e660f4f2368344591f8aa.png"></p> <p>Kibana 可视化数据分析</p> <p><strong>5.1 分析各个接口的请求量</strong></p> <p>在 Kibana 管理后台，选择 Visualize >> AreaChart >> logstash-* 索引:</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/43dbfc480c587e98cbb162360dff4c3e.png"></p> <p>选择 Area chart</p> <p style="text-align: center;"><img src="https://simg.open-open.com/show/ff3ec08e93d92eb489b6272dce774809.png"></p> <p>选择 logstash-* 索引</p> <p><img src="https://simg.open-open.com/show/8490ae4ed845b680d88bb96a2d39d22c.png"></p> <p>接口请求量分布图</p> <p>将 x 轴 (X-Axis) 的类型选择为 Date-Histogram，按照参数 request 拆分图形 (Split-Area)</p> <h3>四、总结</h3> <p>综上，我们配置并部署了 ELK Stack 的整套组件，实现了日志收集、过滤、索引和可视化的全部流程，基于这套系统我们就可以实时的分析业务。</p> <h3>五、附录：</h3> <p>1、ELK 各个组件运行过程中会产生大量的日志，所以需要注意日志处理，要么 > /dev/null 全部忽略，要么存储在大磁盘空间，否则可能写满磁盘导致进程被 killed</p> <p>2、上述安装过程使用的配置文件下载： <a href="/misc/goto?guid=4959741794461156995" rel="nofollow,noindex">https://github.com/Ceelog/elkstack</a></p> <p>3、通过水平扩展 Kafka、Elasticsearch 集群，可以实现日均几百万到数十亿的日志实时处理</p> <p> </p> <p> </p> <p>来自：https://juejin.im/entry/58c91059128fe1006c7753fb</p> <p> </p>