美团点评业务之技术解密，日均请求数十亿次的容器平台

   <p>本文介绍美团点评的 Docker 容器集群管理平台（以下简称容器平台）。该平台始于 2015 年，基于美团云的基础架构和组件而开发的 Docker 容器集群管理平台。目前该平台为美团点评的外卖、酒店、到店、猫眼等十几个事业部提供容器计算服务，承载线上业务数百个，容器实例超过 3 万个，日均线上请求超过 45 亿次，业务类型涵盖 Web、数据库、缓存、消息队列等等。</p>    <h2>容器到来之前</h2>    <p>在容器平台实施之前，美团点评的所有业务都是运行在美团私有云提供的虚拟机之上。美团点评大部分的线上业务都是面向消费者和商家的，业务类型多样，弹性的时间、频度也不尽相同，这对弹性服务提出了很高的要求。</p>    <p>在这一点上，虚拟机已经难以满足需求，主要体现以下两点：</p>    <ul>     <li> <p>IT 成本高。由于虚拟机弹性能力较弱，业务部门为了应对流量高峰和突发流量，普遍采用预留大量机器和服务实例的做法。资源没有得到充分使用产生浪费。</p> </li>    </ul>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/b1b0d46e60966f3200680626b61241bf.jpg"></p>    <h2>容器时代</h2>    <h3>架构设计</h3>    <p>美团点评将容器管理平台视作一种云计算模式，因此云计算的架构同样适用于容器。</p>    <p>如前所述，容器平台的架构依托于美团私有云现有架构，其中私有云的大部分组件可以直接复用或者经过少量扩展开发，如图所示。</p>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/1b9a6c77144a3e283ef161d6fa93a5c7.jpg"></p>    <p>图 1. 美团点评容器管理平台架构</p>    <p>整体架构上与云计算架构是一致的，自上而下分为业务层、PaaS 层、IaaS 控制层及宿主机资源层。</p>    <ul>     <li><strong>业务层</strong> ：代表美团点评使用容器的业务线，他们是容器平台的最终用户。</li>     <li><strong>PaaS 层</strong> ：使用容器平台的 HTTP API，完成容器的编排、部署、弹性伸缩，监控、服务治理等功能，对上面的业务层通过 HTTP API 或者 Web 的方式提供服务</li>     <li><strong>IaaS 控制层</strong> ：提供容器平台的 API 处理、调度、网络、用户鉴权、镜像仓库等管理功能，对 PaaS 提供 HTTP API 接口</li>     <li><strong>宿主机资源层</strong> ：Docker 宿主机集群，由多个机房，数百个节点组成。每个节点部署 HostServer，Docker、监控数据采集模块，Volume 管理模块，OVS 网络管理模块，Cgroup 管理模块等。容器平台中的绝大部分组件是基于美团私有云已有组件扩展开发的，例如镜像仓库、平台控制器、HostServer、网络管理模块。容器平台的技术栈，核心组件，包括平台控制器，网络服务，调度器等都是自研开发的。Docker 镜像仓库基于 Openstack 的 Glance 扩展开发，监控系统有使用 Falcon，CAT；服务治理、服务发现、服务负载均衡是使用的美团自研系统。开发语言主要是 Python 和 Golang。</li>    </ul>    <h3>容器网络</h3>    <h2>高性能、高弹性的架构设计</h2>    <p>容器平台在网络方面复用了美团云网络基础架构和组件，逻辑架构设计如图所示。</p>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/4d2f62474b970ab612ef1b3d104cfdc8.jpg"></p>    <p>图 2. 美团点评容器平台网络架构</p>    <p>在数据平面，我们采用万兆网卡，结合 OVS-DPDK 方案，并进一步优化单流的转发性能，将几个 CPU 核绑定给 OVS-DPDK 转发使用，需要少量的计算资源即可提供万兆的数据转发能力。OVS-DPDK 和容器所使用的 CPU 完全隔离，因此也不影响用户的计算资源。控制平面我们使用 OVS 方案。所谓 OVS 方案是在每个宿主机上部署一个软件的 Controller，动态接收网络服务下发的网络规则，并将规则进一步下发至 OVS 流表，决定是否对某网络流放行。</p>    <h2>自研配置模式 MosBridge</h2>    <p>在 MosBridge 之前，我们配置容器网络使用的是 None 模式。在实践中，我们发现 None 模式存在一些不足：</p>    <ol>     <li>容器刚启动时是无网络的，一些业务在启动前会检查网络，导致业务启动失败；</li>     <li>网络配置与 Docker 脱离，容器重启后网络配置丢失；</li>     <li>网络配置由 Host-SRV 控制，对于以后网络功能的升级和扩展带来很多不便，例如对容器增加虚拟网卡，或者支持 VPC。</li>    </ol>    <p>为了解决这些问题，我们基于 Libnetwork，开发了 MosBridge – 适配美团云网络架构的 Docker 网络驱动。在创建容器时，需要指定容器创建参数—net=mosbridge，并将 ip 地址，网关，OVS Bridge 等参数传给 Docker，由 MosBridge 完成网络的配置过程。有了 MosBridge，容器创建启动后便有了网络可以使用。容器的网络配置也持久化在 MosBridge 中，容器重启后网络配置也不会丢失。</p>    <h3>容器存储隔离性</h3>    <p>为了解决本地磁盘数据卷限容能力弱的问题，我们开发了 LVM Volume 方案。该方案在宿主机上创建一个 LVM VG 作为 Volume 的存储后端。创建容器时，从 VG 中创建一个 LV 当作一块磁盘，挂载到容器里。这样 Volume 的容量便由 LVM 的 LV 加以强限制，得益于 LVM 机强大的管理能力，我们可以做到对 Volume 更精细、更高效的管理。例如，我们可以很方便地调用 LVM 命令查看 Volume 使用量，通过打标签的方式实现 Volume 伪删除和回收站功能，还可以使用 LVM 命令对 Volume 做在线扩容。</p>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/a253c7ba26f5dbdaebd8faebae8ded5c.png"></p>    <p>图 3. LVM-Volume 方案</p>    <h3>容器状态采集</h3>    <p>在设计实现容器监控之前，美团点评内部已经有了许多监控服务，例如 zabbix，falcon 和 CAT。我们不需要设计实现一套完整的监控服务，而更多地是如何高效地采集容器运行信息，根据运行环境的配置上报到相应的监控服务上。</p>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/d8bbdc1274125f80ed7c477351127973.png"></p>    <p>图 4：监控数据采集方案</p>    <p>针对业务和运维的监控需求，我们基于 libcontainer 开发了 mos-docker-agent 监控模块。该模块从宿主机 proc、cgroup 等接口采集容器数据，经过加工换算，再通过不同的监控系统 driver 上报数据。该模块使用 go 语言编写，既可以高效率，又可以直接使用 libcontainer。而且监控不经过 Docker Daemon，不加重 Daemon 的负担。</p>    <h2>美团自研容器分支：MosDocker</h2>    <h3>基本介绍</h3>    <p>我们从 Docker 1.11 版本开始，自研维护一个分支，我们称之为 MosDocker。除了一些 Bugfix 之外，MosDocker 还有一些自研的特性。</p>    <ol>     <li>MosBridge：支持美团云网络架构的网络驱动。</li>     <li>Cgroup 持久化：扩展 Docker Update 接口，可以使更多的 cgroup 配置持久化在容器中，保证容器重启后 cgroup 配置不丢失。</li>     <li>支持子镜像的 Docker Save，可以大幅度提高 Docker 镜像的上传、下载速度。</li>    </ol>    <p>MosDocker 的大部分特性是解决美团点评业务场景的需求问题，不适合开源。对于社区的 bugfix，我们会定期 review 并 backport 到我们的 MosDocker 版本里。</p>    <h3>原理探究：服务治理与容器编排</h3>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/b164a5f242be45d0c1444b1c5cec80c9.jpg"></p>    <p>图 5：美团点评服务治理平台</p>    <h2>组件：</h2>    <ul>     <li>MNS：命名服务</li>     <li>SG_agent: 服务治理代理</li>     <li>HLB：弹性负载均衡器</li>    </ul>    <h2>功能：</h2>    <ul>     <li>服务命名、注册、发现</li>     <li>负载均衡</li>     <li>容错</li>     <li>灰度发布</li>     <li>服务调用数据可视化</li>    </ul>    <p>(点击放大图像)</p>    <p><img src="https://simg.open-open.com/show/83fb44af1ba4fb5e7e6abdb10e43fec9.jpg"></p>    <p>图 6：set 容器组设计</p>    <h2>设计特性</h2>    <ul>     <li>松耦合</li>     <li>容器组作为一个整体调度、管理</li>     <li>容器之间 CPU、IO 资源隔离</li>     <li>网络栈，Volume 共享</li>    </ul>    <p>参考 Kubernetes 的 Pod 设计，针对我们的容器平台设计实现了 set 容器组。容器组对外呈现一个 IP，内置一个 busybox 作为 infra-container，它不提供任何业务功能，set 的网络、volume 都配置在 busybox 上，所有其他的容器都和 busybox 共享。</p>    <h2>在实际业务中的推广应用</h2>    <p>通过引入 Docker 技术，为业务部门带来诸多好处，典型的好处有几点：</p>    <ul>     <li> <p>快速部署，快速应对业务突发流量由于使用 Docker，业务的机器申请、部署、业务发布一步完成，业务扩容从原来的小时级缩减为秒级，极大地提高了业务的弹性能力。</p> </li>     <li> <p>节省 IT 硬件和运维成本Docker 在计算上效率更高，加之高弹性使得业务部门不必预留大量的资源，节省大量的硬件投资。</p> <p>以某业务为例，之前为了应对流量波动和突发流量，预留了 32 台 8 核 8G 的虚拟机。使用容器弹性方案，即 3 台容器 + 弹性扩容的方案取代固定 32 台虚拟机，平均单机 QPS 提升 85%， 平均资源占用率降低 44-56%。</p> <p>(点击放大图像)</p> <p><img src="https://simg.open-open.com/show/1f672ad8e497e9ce8d4eea7ec340b68b.jpg"></p> <p>图 7. 某业务虚拟机和容器平均单机 QPS</p> <p>(点击放大图像)</p> <p><img src="https://simg.open-open.com/show/fbf013136429a0c91449e8fc9517b1dc.png"></p> <p>图 8 某业务虚拟机和容器资源使用量</p> </li>     <li><strong>Docker 在线扩容能力，保障服务不中断</strong></li>    </ul>    <h2>总结</h2>    <p>在容器化过程中，我们发现 Docker 或者容器技术本身存在许多问题和不足，例如，Docker 存在 IO 隔离性不强的问题，无法对 Buffered IO 做限制；偶尔 Docker Daemon 会卡死，无反应的问题；容器内存 OOM 导致容器被删除，开启 OOM_kill_disabled 后可能导致宿主机内核崩溃等等问题。因此 Docker 或者容器技术，在我们看来应该和虚拟机是互补的关系，不能指望在所有场景中 Docker 都可以替代虚拟机，因此只有将 Docker 和虚拟机并重，才能满足用户的各种场景对云计算的需求。</p>    <h2>QA 环节</h2>    <p>Q1: 想问下，在美团点评内部的业务系统中，一般应用容器的规格大致是什么范围，3C 4G 这些？因为有些容器规格分配太大，对于弹性扩缩容，有些影响。导致某些节点存在大量的资源碎片。谢谢</p>    <p>A1:4G 内存的容器还好，我们线上物理机标配是 128G 内存，而且容器的内存只是 cgroup 里的一个设置，实际分配内存还是以容器使用为准。对于一些内存 bound 型业务，内存需要 10G 甚至更多的，我们给这类业务单独一个物理机集群使用，不和其他业务混部。</p>    <p>Q2：k8s 的优势所在，Docker 在美团使用情况？</p>    <p>A2：kubernetes 源于 Google 的 Borg 系统，Borg 是一个分布式容器集群管理平台，在 Google 内部使用 10 多年，承载海量的 Google 线上业务，架构、性能都在业内有广泛声誉。Kubernetes 可以看作 Borg 用 Go 语言重写，和 Borg 一脉相承，所以 Kubernetes 一经推出便广受业界推崇，现在已经是容器集群管理系统的业界标杆。简单来说 Kuberenetes 有一下优势：</p>    <ol>     <li> <p>松耦合架构设计：etcd 是 k8s 的元数据存储中心，使用 RAFT 算法保证数据强一致性，除了支持 POST/PUT/GET/DELETE 之外，还支持 WATCH，是 k8s 的真实之源。apiserver 是无状态的 API 服务器，是唯一可以和 etcd 通信的组件，所有其他组件都是通过 apiserver 访问 etcd 的，apiserver 可以水平扩展。Controller-mananger 集成 RC、Deployment 等控制器。Scheduler 是 Pod 的调度器。Kubelet 是 Node 上资源和容器 runtime 的管理器。除 etcd, apiserver 之外，所有组件之间的通信方式都是通过 Watch etcd 交换数据，组件之间不直接通信，这种设计使整个架构彻底松耦合，任何组件都很容易被替换、扩展的。</p> </li>     <li> <p>Pod 容器组支持：Pod 是一个容器组的抽象概念，将一组容器聚合成一个 Pod，作为调度和资源分配的接本单位。Pod 的设计更贴近生成场景对容器的需求，因为实际一个服务都是有多个业务进程组成的，这些进程在 VM 时代一般都放在同一个 VM 内，而在容器时代，最佳方案是一个容器只运行一个进程，而将这些强相关的进程放到不通的容器里，再将这些容器聚合成一个 Pod，是更理想的使用容器的方式。</p> </li>     <li> <p>Kubernetes 不仅是一个物理机 /VM 集群管理系统，或者说不仅是一个 IaaS，它自带许多容器的编排控制功能，例如 RC，Service。容器时代业界更关心基于容器的编排管理，Kubernetes 考虑了大多数容器生成场景的需求，内置了许多容器编排功能，可以让用户开箱即用的方式使用容器自动化部署业务，高效运维。</p> </li>     <li> <p>kubernetes 已经成为业界容器标准之一，社区火热，版本更新快，因此使用 k8s，在长期的技术支持上，是有比较长期的、稳定的报障。</p> </li>    </ol>    <p>Q3：容器能否在生产环境实际应用，并保持稳定的性能、不影响业务系统？</p>    <p>A3：</p>    <ol>     <li> <p>从技术上说，容器技术有 10 几年的历史，Docker 也有 5，6 年的历史了，容器 /Docker 所依赖的 Linux 内核 Cgroup 和 Namespace 技术，历史更悠久，因此容器的技术可靠性是完全可以信赖的。</p> </li>     <li> <p>Docker 版本更新较快，版本迭代频繁，而且 docker 没有长期稳定版 LTS 的支持，所以在生产场景中使用，难免会踩到 Docker 的 Bug，所以如果要在实际生产环境中大规模使用，需要有对 Docker 本身的维护能力。</p> </li>     <li> <p>Docker 和 VM 相比，虚拟化层次不同，导致 Docker 的隔离性要比 VM 弱，在多租户环境中有安全隔离的问题，另外在单宿主机上，容器之间的资源竞争也可能导致业务会受到影响，需要对容器的资源隔离，特别是 cgroup 的隔离有较为精细的运维。</p> </li>    </ol>    <p>Q4：volume 管理都做了哪些工作？特别想知道怎么管理数据的</p>    <p>A4：美团云 Docker 平台的 Volume 管理经过 3 个阶段：</p>    <p>阶段 1：本地文件系统做 volume，优点是开发快，缺点是限容、隔离性差，数据可靠性差</p>    <p>阶段 2：本地 lvm 磁盘，解决了 volume 隔离性问题，但可靠性仍然不足</p>    <p>阶段 3：现阶段，我们使用美团云自研的分布式弹性块存储服务，相当于 aws 的 EBS，用 ebs 做 volume 存储后端，完全解决了容量限制，隔离性，可靠性的问题，在 volume 备份、迁移上也有优势。</p>    <p>Q5：swarm 和 k8s、mesors 哪个更建议生产环境使用？</p>    <p>A5：据我所知，业界大规模使用容器的方案有 k8s 和 Mesos 的，Swarm 早期功能简单，不能满足生产所需，不过 Docker 公司对 Swarm 的更新很快，而且 Swarm 和 Docker 是一致的接口，相信以后会有较多的实践。</p>    <p>Q6: 请问美团后端储存用的是普通的磁盘，还是储存阵列，如果是存储阵列，是如何集成管理的呢？</p>    <p>A6：美团云存储后端有分布式对象存储系统，也有分布式块存储系统。都是美团云自研的系统。</p>    <h2>作者介绍</h2>    <p>郑坤， 2011 年中科院计算所博士毕业，曾在华为从事内核研发工作。2015 年加入美团，负责美团云容器平台的设计开发，以及在美团点评内部容器化推广工作。很高兴本次分享 Docker 技术在美团点评的实践情况。</p>    <p>感谢木环对本文的审校。</p>    <p>给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ，@丁晓昀），微信（微信号： <a href="/misc/goto?guid=4958995489941048984" rel="nofollow,noindex">InfoQChina</a> ）关注我们。</p>    <p> </p>    <p>来自：http://www.infoq.com/cn/articles/technology-decryptionof-meitaun-services-review</p>    <p> </p>