如何选择Docker监控方案
TUFLoretta
9年前
<p>大家好，非常高兴来上海跟大家分享一下我们在Docker监控方面的一点点经验。</p> <p>今天我要跟大家享主题是《如何选择Docker监控方案》。</p> <p>这里我将主要对Docker监控的原理和常用工具以及主流的解决方案进行简单介绍，如果大家正准备对Docker进行监控，希望这次分享能为大家带来一些帮助，如果你们已经进行了对Docker的监控，我也希望能的大家交流一下经验，跟大家互相学习一下。</p> <p>同时，最后我也会安利一下SaaS这种商业模式，甚至是一种消费观念。可以说，我这次代表的不是某具体厂商，而是代表我们同样做类似服务的SaaS行业。</p> <h2>什么是监控</h2> <p>为什么监控，监控什么内容？</p> <p>我们要对自己系统的运行状态了如指掌，有问题及时发现，而不让让用户先发现我们系统不能使用，打电话过来到客服，客服再反映到开发，这个过程很长，而且对工程师来说，是一件比较没面子的事情。</p> <p>我们也不能一问三不知，比如领导问我们这个月的MySQL并发到了什么情况？slowsql处于什么水平，平均响应时间超过200ms的占比有百分之多少？</p> <p>回答不出来这个问题很尴尬，尽管你工作很辛苦，但是却没有拿得出来的成果。不要以为没出问题就没事了，你要换位想想，站在领导的角度，领导什么都不干，你提案，他签字，出了问题领导责任也很大啊。</p> <h2>监控目的</h2> <ul> <li>减少宕机时间</li> <li>扩展和性能管理</li> <li>资源计划</li> <li>识别异常事件</li> <li>故障排除、分析</li> </ul> <p>我们为什么需要监控我们的服务？其中有一些显而易见的原因，比如需要监控工具来提醒我服务出现了故障，比如通过监控服务的负载来决定扩容或缩容。如果机器普遍负载不高，则可以考虑是否缩减一下机器规模，如果数据库连接经常维持在一个高位水平，则可以考虑一下是否可以进行拆库处理，优化一下架构。</p> <p>此外，监控还可以帮助进行内部统制，尤其是对安全比较敏感的行业，比如证券银行等。比如服务器受到攻击时，我们需要分析事件，找到根本原因，识别类似攻击，发现没有发现的被攻击的系统，甚至完成取证等工作。</p> <h2>Docker监控的挑战</h2> <ul> <li>Docker特点 <ul> <li>像host但不是host</li> <li>量大</li> <li>生命周期短</li> </ul> </li> <li>监控盲点（断层）</li> <li>微服务</li> <li>集群</li> <li>全方位 <ul> <li>Host（VM） + Services + Containers + Apps</li> </ul> </li> </ul> <p>容器为我们的开发和运维带来了更多的方向和可能性，我们也需要一种现代的监控方案来应对这种变化。</p> <p>随着不可变基础设施概念的普及，云原生应用的兴起，云计算组件已经越来越像搭建玩具的积木块。很多基础设施生命周期变短，不光容器，云主机、VM也是。</p> <p>在云计算出现之前，一台机器可能使用3、5年甚至更长都不会重装，主机名也不会变，而现在，我们可能升级一个版本，就重建一个云主机或者重新启动一个容器。监控对象动态变化，而且非常频繁。即使全部实现自动化，也会在负载和复杂度方面带来不利影响。</p> <p>集群的出现，应用的拓扑结构也变得复杂，不同的应用的指标和日志格式也不统一，再加上如何应对多租户，也给监控带来了新挑战。</p> <p>传统的监控内包括主机、网络和应用，但是Docker出现了，容器这一层容易被忽略，成为三不管地区，监控的盲点。</p> <p>有人说，容器不就是个普通的OS么？装个Zabbix的探针不就行了么？</p> <p>Docker host和Docker 容器都要装Zabbix探针。。。其实问题很多。</p> <p>除了容器内部看到的cpu内存情况不准之外，而且容器生命周期短，重启之后host名，ip地址都会变，所以最好在Docker host上安装Zabbix agent。</p> <p>如果每个容器都像OS那样监控，则metric数量将会非常巨大，而且这些数据很可能几分钟之后就无效率了（容器已经停止）。容器生命周期短暂，一旦容器结束运行，之前收集的数据将不再有任何意义。</p> <p>主要的解决方式就是对以App或者Service为单位进行监控（通过Tag等方式）。</p> <h2>Docker监控技术基础</h2> <ul> <li><code>docker stats</code></li> <li>Remote API</li> <li>伪文件系统</li> </ul> <p>我们可以通过 <code>docker stats</code> 命令或者Remote API以及Linux的伪文件系统来获取容器的性能指标。</p> <p>使用API的话需要注意一下，那就是不要给Docker daemon带来性能负担。如果你一台主机有200个容器，如果非常频繁的采集系统性能可能会大量占据CPU时间。</p> <p>最好的方式应该就是使用伪文件系统。如果你只是想通过shell来采集性能数据，则 <code>docker stats</code> 可能是最简单的方式了。</p> <h2>docker stats命令</h2> <table> <tbody> <tr> <td> </td> <td> <pre> <code>$ docker stats redis1 redis2 CONTAINER CPU % MEM USAGE/LIMIT MEM % NET I/O redis1 0.07% 796 KB/64 MB 1.21% 788 B/648 B redis2 0.07% 2.746 MB/64 MB 4.29% 1.266 KB/648 B </code></pre> </td> </tr> </tbody> </table> <p>该命令默认以流式方式输出，如果想打印出最新的数据并立即退出，可以使用 <code>no-stream=true</code> 参数。</p> <h2>伪文件系统</h2> <ul> <li>CPU、内存、磁盘</li> <li>网络</li> </ul> <p>文件位置大概在（跟系统有关，这是Systemd的例子）：</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>/sys/fs/cgroup/{memory,cpuacct,blkio}/system.slice/${docker ps --no-trunc}.scope </code></pre> </td> </tr> </tbody> </table> <p>Docker各个版本对这三种方式的支持程度不同，取得metric的方式和详细程度也不同，其中网络metric是在1.6.1之后才能从伪文件系统得到。</p> <h2>Memory</h2> <p>内存的很多性能指标都来自于 <code>memory.stat</code> 文件</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>... ... cache 11492564992 rss 1930993664 swap 0 pgfault 728281223 ... ... total_cache 11492564992 total_rss 1930993664 total_pgpgin 406632648 total_pgpgout 403355412 total_swap 0 total_pgfault 728281223 ... ... </code></pre> </td> </tr> </tbody> </table> <p>前面的不带total的指标，表示的是该cgroup中的process所使用的、不包括子cgroup在内的内存量，而total开头的指标则包含了这些进程使用的包括子cgroup数据。这里我们看到的数据都是一样的，由于这里并没有子cgroup。</p> <p>两个比较重要的指标：</p> <ul> <li>RSS： resident set size</li> </ul> <p>进程的所有数据堆、栈和memory map等。rss可以进一步分类为active和inactive（active_anon and inactive_anon）。在内存不够需要swap一部分到磁盘的时候，会选择inactive 的rss进行swap 。</p> <ul> <li>cache memory</li> </ul> <p>缓存到内存中的硬盘文件的大小。比如你读写文件的时候，或者使用mapped file的时候，这个内存都会增加。这类内存也可以再细分为active和inactive的cache，即active_file和inactive_file。如果系统需要更多内存，则inactive的cache会被优先重用。</p> <h2>CPU</h2> <ul> <li><code>cpuacct.stat</code>文件</li> <li>docker.cpu.system</li> <li>docker.cpu.user</li> </ul> <p>但是比较遗憾，Docker 不会报告nice，idle和iowait等事件。</p> <p>System也叫kernel时间，主要是系统调用所耗费的部分，而user则指自己程序的耗费CPU，如果User时间高，则需要好好检查下自己的程序是否有问题，可能需要进行优化。</p> <h2>Blkio</h2> <p>优先从CFQ（Completely Fair Queuing 完全公平的排队）拿数据，拿不到从这两个文件拿：</p> <p><code>blkio.throttle.io_service_bytes</code>，读写字节数 <code>blkio.throttle.io_serviced</code>，读写次数</p> <p>Throttle这个单纯可能有误导，实际这些都不是限制值，而是实际值。</p> <p>每个文件的第一个字段是 <code>major:minor</code> 这样格式的device ID。</p> <h2>网络数据</h2> <ul> <li>iptables</li> <li>伪文件系统</li> <li> <p>网络设备接口</p> </li> <li> <p>Virtual Ethernet</p> </li> </ul> <p>针网络的监控要精确到接口级别，即网卡级别。每个容器在host上都有一个对应的virtual Ethernet，我们可以从这个设备获得tx和rx信息。</p> <p>不过找到容器在主机上对应的虚拟网卡比较麻烦。这时候可以在宿主机上通过 <code>ip netns</code> 命令从容器内部取得网络数据。</p> <p>为了在容器所在网络命名空间中执行 <code>ip netns</code> 命令，我们首先需要找到这个容器进程的PID。</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>$ CONTAINER_PID=`docker inspect -f '' $CONTAINER_ID` $ mkdir -p /var/run/netns $ ln -sf /proc/$CONTAINER_PID/ns/net /var/run/netns/$CONTAINER_ID $ ip netns exec $CONTAINER_ID netstat -i </code></pre> </td> </tr> </tbody> </table> <p>或者：</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>$ CONTAINER_PID=`docker inspect -f '' nginx ` $ cat /proc/$CONTAINER_PID/net/dev </code></pre> </td> </tr> </tbody> </table> <p>实际上Docker的实现也是从伪文件系统中读取网络metric的：</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>$ pwd /sys/class/net/veth559b656/statistics $ ls collisions rx_crc_errors rx_frame_errors rx_packets tx_compressed tx_heartbeat_errors multicast rx_dropped rx_length_errors tx_aborted_errors tx_dropped tx_packets rx_bytes rx_errors rx_missed_errors tx_bytes tx_errors tx_window_errors rx_compressed rx_fifo_errors rx_over_errors tx_carrier_errors tx_fifo_errors </code></pre> </td> </tr> </tbody> </table> <h2>Docker监控方案实现</h2> <ul> <li>自己动手 + 开源软件</li> <li>SaaS</li> </ul> <h2>评价标准</h2> <ul> <li>功能 <ul> <li>满足</li> <li>信息详细程度</li> <li>查询的灵活程度</li> <li>报警 + API</li> </ul> </li> <li>灵活性 <ul> <li>定制</li> </ul> </li> <li>成本 <ul> <li>学习、开发</li> <li>维护</li> </ul> </li> <li>运维 <ul> <li>部署复杂程度</li> </ul> </li> <li>高可用</li> </ul> <p>需要考虑的基本要素如上所示，不多述。</p> <h2>自己动手</h2> <ul> <li>灵活性强</li> <li>成本高</li> </ul> <p>这里的成本包括开发成本，开发成本可能包括招人和培训，开发时间和填坑时间。开发完了还需要维护成本，而且随着Docker的升级，可能还需要对metric的采集实现进行升级，以及各种bugfix。</p> <h2>自己动手打造监控方案</h2> <ul> <li>采集</li> <li>存储</li> <li>展示</li> <li>报警（动作）</li> </ul> <p>StatsD 是 Flickr 公司首先提出来的，后来由 Esty 公司发扬光大的一个轻量级的指标采集模块。</p> <p>简单来讲，StatsD 就是一个简单的网络守护进程，基于 Node.js 平台（Esty实现，其实也有其他语言版本），通过 UDP 或者 TCP 方式侦听各种统计信息，包括计数器和定时器，可以用来采集操作系统、不同数据库、中间件的数据指标，进行缓存、聚合，并发送到Graphite 等存储和可视化系统中。</p> <p>StatsD 具有以下优点：</p> <ul> <li>简单</li> </ul> <p>首先安装部署简单，且StatsD 协议是基于文本的，可以直接写入和读取，方便实现各种客户端和SDK。</p> <p>Cloud Insight的探针也是采用这些方式，我们有些SDK也是基于StatsD的，目前有Ruby、Python和Java的，在<a href="/misc/goto?guid=4959672823910713592">GitHub</a>上可以看到。</p> <ul> <li>低耦合性</li> </ul> <p>StatsD 守护进程采取 UDP 这种无状态的协议，收集指标和应用程序本身之间没有依赖，不会阻塞应用，不管StatsD的状态是运行中，还是没在运行，都不会影响应用程序，应用程序也不关心StatsD是否收到数据。</p> <ul> <li>易集成</li> </ul> <p>StatsD非常容易整合其他组件，可以自己编写采集业务逻辑，发送到StatsD守护进程即可。也就是说用户的工作很简单，只需要按定义好的规则采集数据发送到Stats，然后用Graphite存储、展示，通过使用Riemann进行报警。</p> <h2>Tcollector</h2> <ul> <li>来源于OpenTSDB</li> </ul> <p>Tcollector 是一个采集指标数据并保存到OpenTSDB的框架，你可以使用该框架自己编写采集的业务逻辑。类似StatsD，运行在客户端，收集本地的metric信息，推送到OpenTSDB。</p> <h2>Collectd</h2> <ul> <li>System statistics collection daemon</li> <li>存储到RRD</li> <li>插件机制（input/output）</li> <li>简单报警功能</li> </ul> <p>Collectd即是一个守护进程，也是一个框架，类似StatsD，它性能非常好，采用C语言编写。Collectd不直接支持从Docker中取数据，但是我们可以自己编写插件来采集性能指标数据。</p> <p>Collectd有强大的插件机制，已经实现了包括amqp、rrdtool、graphite、http、kafka、redis、mongodb、OpenTSDB以及CSV文件等在内的各种插件。</p> <p>在4.3版本之后还支持简单的基于阈值检查的报警机制。</p> <h2>cAdvisor（Container Advisor）</h2> <p><img alt="如何选择Docker监控方案" src="https://simg.open-open.com/show/1e8d3760c47132ec4681db1b9b6cb353.png" width="600" height="264"></p> <p>cAdvisor是一个用于收集、聚合处理和输出容器运行指标的守护进程。而且cAdvisor基本算是一个获取Docker性能数据的标配了吧。</p> <table> <tbody> <tr> <td> </td> <td> <pre> <code>sudo docker run \ --volume=/:/rootfs:ro \ --volume=/var/run:/var/run:rw \ --volume=/sys:/sys:ro \ --volume=/var/lib/docker/:/var/lib/docker:ro \ --publish=8080:8080 \ --detach=true \ --name=cadvisor \ google/cadvisor </code></pre> </td> </tr> </tbody> </table> <p>一句命令就可以启动cAdvisor容器，访问8080端口即可看到性能指标数据。cAdvisor可以通过storage_driver参数将数据存到influxdb，同时也可以将metric输出为Prometheus的格式，所以很多自定义Docker监控系统都会采取cAdvisor + Prometheus 的组合。</p> <h2>存储TSDB</h2> <ul> <li>OpenTSDB</li> <li>Influxdb</li> <li>RRDTool</li> <li>Graphite</li> </ul> <p>关于时序列数据库，可以看附录中相关的介绍文章。推荐使用OpenTSDB或者Influxdb，简单对比一下各自特点如下：</p> <ul> <li>OpenTSDB <ul> <li>Java & HBase</li> <li>易扩展（集群功能强大）</li> <li>机器多，运维稍显麻烦</li> </ul> </li> <li>Influxdb <ul> <li>Golang</li> <li>集群功能不太成熟</li> <li>有类SQL的查询语句</li> <li>单台即可工作</li> </ul> </li> </ul> <p>这两者都支持自由模式和多维度，非常适合用于采用tag机制的数据模式建模。</p> <h2>开源可视化工具</h2> <ul> <li>Graphite</li> <li>Influxdb + Grafana</li> <li>Prometheus</li> </ul> <p>光有数据是不够的，raw data没有任何意义，我们需要良好的可视化组件来展示数据和数据的内在意义，发挥数据的作用。</p> <p>我们也可以将数据存储和展示交给其他开源软件。</p> <p>如果你的数据采集和存储都是自己来完成的，只想使用一个外部的图形化界面的话，选Grafana应该没错，Grafana展现形式非常丰富，配置也很灵活。</p> <p><img alt="如何选择Docker监控方案" src="https://simg.open-open.com/show/d4380f181458c82bc1204961cc05c3e7.png" width="200" height="48"></p> <h2>开源方案</h2> <ul> <li>cAdvisor（经典）+ InfluxDB + Grafana</li> <li>Zabbix/Nagios/Hawkular</li> <li>Fluentd</li> <li>Prometheus</li> <li>Riemann</li> <li>ATSD（Axibase Time Series Database）</li> </ul> <p>Hawkular 是一个来自于RedHat开源的监控解决方案，也包括报警等系统，可以说功能非常强大。</p> <p>Hawkular基于Cassandra存储，它认为这虽然增加了运维的复杂程度，但是扩展变得容易（参考前面关于OpenTSDB和Influxdb的对比）。</p> <h2>Zabbix</h2> <ul> <li>最经典（SaaS软件的最大敌人）</li> <li>架构简单、清晰</li> <li>文档丰富</li> <li>包括采集、触发、告警</li> <li>Agent支持用户自定义监控项</li> <li>通过SNMP、ssh、telnet、IPMI、JMX监控</li> <li>一套HTTP + JSON的接口</li> </ul> <p>现在Zabbix已经实现了探针的自动注册，也支持了基于角色的监控对象自动发现，但是你还是需要管理这些自动配置的项目。而且监控的服务多了，Zabbix探针在监控对象上运行的脚本也会变多，需要更多的进程，可能会对正常业务产生影响。</p> <p>在Zabbix中支持Docker，可以使用 Zabbix Docker Monitoring ，首先需要下载两个xml的模板文件，导入到管理界面，然后在docker host，也就是zabbix的agent的机器上，安装zabbix模块（.so），然后还得在Docker主机上启动cadvisor容器。</p> <h2>Graphite</h2> <p>主要功能：</p> <ul> <li>存储数值型时序列数据</li> <li>根据请求对数据进行可视化（画图）</li> </ul> <p>Graphite是一个经典的时序列数据存储，容易扩展，提供了功能强大的画图Web API以及大量的函数和输出方式。Graphite有自己的可视化实现，也可以支持Grafana。</p> <p>Graphite本身不带数据采集功能，你需要选择其他第三方插件，比如Collectd等。</p> <p><img alt="如何选择Docker监控方案" src="https://simg.open-open.com/show/5769e422b226ca2b342e147e30268e19.png" width="968" height="737"></p> <p>Graphite架构自下而上分为3个模块：</p> <ul> <li>whisper：创建、更新RRD文件</li> <li>carbon：以守护进程的形式运行，接收数据写入请求 <ul> <li>carbon-cache：数据存储</li> <li>carbon-relay：分区和复制，位于carbon-cache之前，类似carbon-cache的负载均衡</li> <li>carbon-aggregator：数据集计，用于减轻carbon-cache的负载</li> </ul> </li> <li>graphite-web：用于读取、展示数据的Web应用</li> </ul> <p>Whisper使用了类似RRDtool的RRD文件格式，不像C/S结构的软件，whisper没有服务进程，只是作为library来使用，直接对文件进行create/update/fetch等操作。</p> <h2>Prometheus</h2> <ul> <li>一体化、仪表盘和告警</li> <li>多维度</li> <li>灵活查询语言</li> <li>非分布式、单机自治</li> <li>基于HTTP的pull模式（push需要中间网关）</li> <li>LevelDB</li> </ul> <p><img alt="如何选择Docker监控方案" src="https://simg.open-open.com/show/3a34f2e4c4a948140e3fbda71af2ad04.png" width="1112" height="753"></p> <p>Prometheus是一个全套监控和预测方案，包括数据采集、存储、查询和可视化，以及报警功能。由社交音乐平台SoundCloud在2012年开发，最近也非常火。</p> <p>在集群流行的时候，很少有软件专为单机、本地存储而设计。Prometheus就是这样一个软件，它采用了基于LevelDB的本地存储，并没有使用成熟的面向列的数据库。不过Prometheus 也在实验将数据存储到OpenTSDB。</p> <p>Prometheus 采用了pull模式，即服务器通过探针端的exporter来主动拉取数据，而不是探针主导上报。</p> <p>Prometheus部署和运维起来可能比较麻烦，需要很多组件单独安装，比如dashboard（PromDash），虽然这虽然显得更加开放和包容。不过使用Docker的话将会简单很多，通过一个Docker Compose配置文件就能建立全功能的Prometheus监控环境，网上有很多这样的例子。</p> <h2>Heapster</h2> <ul> <li>经典组合：heapster + Influxdb + grafana</li> <li>Sink：Kafka、stdout、gcm（Google Cloud Monitoring）、hawkular、monasca、riemann、opentsdb</li> </ul> <p>Heapster是k8s的一个子项目，用于获取集群的性能数据。现在Heapster原生支持k8s和CoreOS，也可以很容易扩展来支持其他集群管理软件。</p> <p>Heapster除了支持，基本的metric之外，还支持事件类型的数据，比如容器生命周期事件。</p> <h2>Riemann</h2> <ul> <li>事件处理</li> <li>Clojure实现</li> </ul> <p>Riemann 是一个分布式监控（数据处理）系统，但它做的事情其实非常简单，就是接收事件->按定义规则处理->转发或存储到外部系统。</p> <p>我们可以将Riemann 与时间序列数据库，或者基于 StastD 的方案集成使用，来弥补其他方案在报警、事件流处理这方面上的不足。</p> <p>Riemann采用Clojure语言编写，这是一门Lisp方言，函数式编程语言，对于大多数习惯于过程式或者面向对象的现代人来说，理解起来有一定难度，有一定的学习曲线。</p> <h2>开源软件的问题点</h2> <ul> <li>灵活性受限于upstream</li> <li>维护成本高</li> <li>定制难度大</li> <li>技术栈</li> </ul> <p>要选择自己熟悉或者能投入精力去熟悉的技术栈产品，否则有问题没人调查，监控产品将沦为摆设。</p> <h2>SaaS</h2> <ul> <li>turnkey解决方案</li> <li>维护成本 ~ Zero</li> <li>适合中小企业</li> </ul> <p>对于中小型企业尤其创业公司来说，自主开发或者直接利用现有的开源工具进行监控都有一些问题，主要是成本和风险的问题。对于中小企业，应该先把精力集中在发展核心业务，能外包的就先不自己做。而且很多中小公司大家都是全栈，没有专门的运维人员，都是临时抱佛脚，随时都会变成救火队员。</p> <p>SaaS最大的优点是什么？那就是免运维，开箱即用，修改的代码少甚至不需要修改代码，或者只需要简单的安装一个agent就可以工作了。很多SaaS软件的开场白都是运行一条 <code>yum install</code> ，然后倒上一杯咖啡等几分钟，就能看到数据了。</p> <p>你的初期投入非常少，上手非常快，而且成本比较低（如果你的公司已经有数百上千服务器了，则这部分成本可能会变高，就跟是自建机房还是用云主机的对比一样）。</p> <h2>SaaS</h2> <ul> <li>传统APM <ul> <li>New Relic</li> <li>AppDynamics</li> <li>Dynatrace（Ruxit）</li> </ul> </li> <li>基础设施监控 <ul> <li>Datadog</li> <li>SysDig</li> <li>Cloud Insight</li> <li>clusterup</li> <li>Scout</li> </ul> </li> </ul> <p>RancherLab公司有人写了篇文章，本讲稿的最后有链接，大家可以参考下。这篇文章名为《Comparing Seven Monitoring Options for Docker》，即对比了七种不同的监控Docker的方案，包括使用 <code>docker stats</code> 命令, cAdvisor, Prometheus ，Sensu，以及saas服务 Scout, Sysdig Cloud and DataDog等方案，作为结论作者觉得Datadog是这其中最优秀的方案。</p> <blockquote> <p><em>RancherLab有一个产品叫RancheOS，是一个专门为了运行Docker准备的微型Linux版本，它的口号是“The perfect place to run Docker”。跟CoreOS类似，但是貌似功能不如CoreOS多，也没有CoreOS有名，也没有CoreOS中fleet、flannel和etcd这样的组件，尤其是etcd，可以说是CoreOS的副产品，但是几乎成了Docker业界标准的kv store和服务发现组件了。</em></p> </blockquote> <h2>Datadog</h2> <ul> <li>国外最好</li> <li>功能很强大</li> <li>安装很简单</li> </ul> <p>国外最流行的SaaS解决方案是Datadog，国内可能比较成熟、规模较大的应该算是Cloud Insight了。</p> <p>这类服务用户只需要注册一个账号，按照安装过程通过一条命令来安装探针即可在web展示端看到数据。</p> <p>要说到Datadog的不足，那就是在国外，网络延迟需要考虑，万一哪天不科学了也需要有所准备。</p> <p>价格方面Datadog也比较贵。免费plan支持5台机器，而且只保留一天的数据，而且没有报警功能。收费版15美元一台主机，支持报警功能，数据存储13个月。</p> <p>说道SaaS，不得不提客服，直接面对非母语客服人员交流起来肯定会有诸多不顺吧。</p> <h2>Cloud Insight</h2> <ul> <li>实时数据</li> <li>历史数据</li> <li>仪表盘</li> <li>混合监控</li> <li>报警功能</li> </ul> <p>当然，最便宜的还是Cloud Insight，有多便宜呢，官方定价的话3个探针以下是免费的，支持超过3台主机的话，平均每天1快钱。</p> <p>这只是官方定价，实际上还会便宜，貌似联系客服就可以知道有多便宜了。</p> <p>Cloud Insight还支持ChatOps集成，包括国内的 BearyChat 和简聊。随着devops文化的普及，相信这些工具的重要性也会与日俱增。</p> <p>Cloud Insight的图表功能也很丰富，能对任何指标以图表的方式展示，还能在图表上叠加事件，比如报警通知、服务启动停止等，能在观察到metric变动趋势的同时，看到相应的时间，了解metric发生变动的原因。比如CPU load超过一定值时，可能触发报警，这时你能在图表上看到相应的事件，同样，如果CPU load一直不是很低，但是从某一时间点开始变低了，你可能也能从一次新的代码部署中了解原因。</p> <h2>Sysdig</h2> <ul> <li>免费工具</li> <li>SaaS服务 Sysdig Cloud</li> <li>拓扑可视化</li> </ul> <p>可以认为sysdig是strace + tcpdump + htop + iftop + lsof + 众多linux常用的系统监控命令的合体。</p> <p>如果你熟悉tcpdump，那么你知道它能还原整个网络流量，而sysdig则是操作系统级别的监控工具，能捕捉到所有OS事件和数据。</p> <p>而且sysdig原生支持Linux container，包括Docker和LXC，提供了基本的指标监控信息。除了性能指标，sysdig还能采集trace等日志信息，用于以后的问题分析和解决。</p> <p>Sysdig Cloud是sisdig的SaaS版，除了基本的单机sysdig功能之外，还提供了跨平台跨基础设施的组件间依赖关系的可视化。</p> <h2>Librato</h2> <ul> <li>数据聚合平台</li> <li>简单探针</li> <li>图表和报警</li> <li>价格不贵</li> </ul> <p>Librato是一个数据聚合平台，而不是严格意义的监控系统。</p> <p>Librato很容易从AWS CloudWatch和Heroku获得数据，如果是自己监控主机或者Docker，需要使用Collectd框架。它也有很多插件，可以从StatsD、Riemann等数据源采集数据。</p> <p>Librato的探针虽然功能不是强大，但是他提供了丰富的实时在线数据处理功能，用户可以使用DSL对任意时间序列数据组合进行数学运算，比如加减乘除、比率导数等。还支持和时间窗口滑动功能，即跟过去某一段时间进行比较。</p> <p>Librato也支持报警，基于metric和条件，设置报警信息。</p> <p>Librato是按照metric的个数和时间分辨率来收费的，在官网的主页上有一个大概的估算，如果你有20个metric，并且时间间隔为60秒，则一台服务器的价格只有2美元1个月，这比datadog要便宜。</p> <h2>Axibase（ATSD）</h2> <ul> <li>非开源TSDB</li> <li>支持报警</li> <li>预测功能</li> </ul> <p><img alt="如何选择Docker监控方案" src="https://simg.open-open.com/show/18fbc9ca59e511b6296379d7a344dbc8.png" width="439" height="282"></p> <p>作为TSDB，ATSD支持长时间存储高精度的metric数据。ATSD支持多种数据采集工具和协议，比如tcollector, Collectd，当然ATSD也支持从多台Docker主机手机指标数据，并长期保存，进行可视化和分析。</p> <p>除了传统的时间序列数据，ATSD还支持属性（Properties）和消息这两种类型的数据。属性一般用于保存meta data，这有点类似标签。</p> <p>和OpenTSDB一样，ATSD也支持tag，我们可以使用这些tag进行过滤和聚合。</p> <p>ATSD内置了自动回归推断算法（holt-winters，arima），可以提早预测故障。预测功能的准确性取决于数据的采集频率，保存时间（也就是数据量大小）和算法。</p> <p>最大的遗憾，就是ATSD不是开源，也不是免费的软件，不过他们提供了一个社区版可以免费使用，但是你只能在一个节点上安装ATSD，而且不能用于盈利性服务，也不能对软件进行修改以及再发布。</p> <p>如果我们只是评估一下，或者想自己构建监控方案，它的产品设计还是非常值得我们来借鉴一下。</p> <h2>SaaS的挑战</h2> <ul> <li>数据敏感性</li> </ul> <p>采用SaaS，意味着你的数据都将会保存到公网，可能会带来心理不安全感。实际上SaaS反而会更安全些，尤其是对中小公司没有专门的安全运维团队的情况下。</p> <ul> <li>成本（迁移和使用成本）</li> </ul> <p>一般来说这是一个一次性投入成本。</p> <ul> <li>内部抵抗（观念、个人爱好）</li> </ul> <p>来自技术人员自身的抵抗，不是每个人都喜欢自己变得轻松，使用SaaS可能会给一些人带来工作上的不充实感。</p> <h2>趋势</h2> <ul> <li>标签机制</li> </ul> <p>一种观点：监控服务状态胜过监控个别容器，通过tag机制对服务整体的性能指标进行聚合。</p> <p>Tag可以是任何维度，比如BU，地区，服务，甚至个别容器。</p> <p>Docker和Kubernetes等都支持label机制，即tag机制。</p> <ul> <li>docker daemon –label com.example.group=“webserver”</li> <li>docker run –label com.example.group=“webserver”</li> <li> <p>Dockerfile: LABEL com.example.group=“webserver”</p> </li> <li> <p>通过API打通</p> </li> </ul> <p>通过API化实现共赢。开源软件比如fluentd、Collectd等，都支持插件功能。包括Docker本身，也在1.11版本中，采用了runC作为容器运行时，在上面通过containerD来统一控制，来支持符合OCI标准的容器。</p> <ul> <li>Total解决方案</li> </ul> <p>包括从探针到展示、告警，就是现在类似Datadog和Cloud Insight这样的产品，以及支持中间件的详细程度，就像一个大市场，什么都能买到，不管你用什么软件，平台都能提供监控。</p> <p>这就像是去了酒吧突然想吃碗拉面，然后竟然酒吧能给你做出来的那种感觉。</p> <p>另一个层面就是从RUEM（实时用户体验管理）到基础设施层的 <strong>打通</strong> 。比如你看到某URL的用户HTTP响应较慢，如果不能跟后端的APM打通，你尽管能识别出问题，但是你不知道如何解决。如果和后端的APM以及基础设施监控打通，你就能定位到HTTP响应慢时，相应的后端代码的位置，并根据后端代码的位置从而进一步找到MySQL的监控数据以及系统异常事件，立刻知道问题的根本原因所在并解决问题，可以说效率应该能提高几个数量级。</p> <p>系统监控工具如果能够做到 All in One，真的对解决人力和时间成本上有非常大的帮助。</p> <ul> <li>拓扑可视化</li> </ul> <p>跨组件、跨基础设施和应用，自动识别组件以及组件之间的依赖关系，以帮助更好的发现问题和解决问题。</p> <ul> <li>Weave Scope</li> <li>Ruxit</li> <li>Sysdig</li> </ul> <p>参考：</p> <ul> <li><a href="/misc/goto?guid=4959672823994911891">本次分享全部资料</a></li> <li><a href="/misc/goto?guid=4959635774133576716">Comparing Seven Monitoring Options for Docker</a></li> <li><a href="/misc/goto?guid=4959672824109989219">How to collect Docker metrics</a></li> <li><a href="/misc/goto?guid=4959672824191758690">时序列数据库武斗大会</a></li> <li><a href="/misc/goto?guid=4959672824278285037">Fluentd Docker Metrics Input Plugin</a></li> <li><a href="/misc/goto?guid=4959672824358817104">Docker Runtime metrics</a></li> </ul> <p>来自：<a href="http://liubin.org/blog/2016/04/24/how-to-choose-a-docker-monitor-solution/ ">liubin</a></p>