Docker, Mesos, Marathon以及宠物模式的终结

jopen 9年前
原文  http://dockone.io/article/493
 

Docker, Mesos, Marathon以及宠物模式的终结

【编者的话：国外广为流传的一个比喻是：在传统服务模式下，可以想象服务器就是IT的宠物(Pets)，给他们取名字，精心抚养长大，当他们生病 了，你得修复他们;在新形态的应用服务模型中，虚拟机被看做是农场中的公牛(Cattle)，名字通常都是编号，当他们生病了，你就杀掉他，用一头新牛代 替。 未来的应用架构应该像对待农场中的公牛一样：对基础架构的“保养”、保护基础架构的各种功能，比起云计算型应用模式可能会逐渐变得越来越不那么重要。最后 作者用比较简洁抽象的方式构建了基于Marathon、Mesos的奶牛模式使用场景】

标题 ##关于宠物和奶牛模式

宠物和奶牛并不是一个新比喻，对素食主义者先说一声抱歉，这种比喻并不是我，而是熊们(bears)总是重复这个比喻。

一般来说，通过ssh进入一台设备，配置她，然后给她一个可爱的或者博学的名字----这是宠物模式。如果不幸她死了，病了，或者闪亮红色外表变黑了你会很伤心；

奶牛模式，代表着另外一种批量方式，例如你可以给许多机柜中的某一台设备命名cow_with_big_ram_and_ssd_00003，如果某一个服务死机了，一个替代会自动部署好并且启动。

这种类比可以存在于在云或者公司数据中心内。

现在，许多人们倾向认为奶牛模式更加适合需求。但是事实上，跟大多数人认为相左或者很多人不愿意承认，许多有数据中心或者云平台的商家，里面都是宠物，这是真的，或许他们是虚拟化的，他们仍然是宠物模式的。

标题 ##深入“非常重要的”服务内部

正如我刚才宣称几乎每个人仍然运行许多宠物，这是因为sysops（译者注：系统管理员）认为某些服务“非常重要”或者“太核心”。在某些技术超 前的商家，这些服务限于bind，dhcp，haproxy，zoopkeeper，etcd；略带讽刺色彩的，在像openstack、hadoop namenodes等复杂控制框架中，chef/puppet服务也被这样认为。如此种种。。。

在Factual，我得承认，我们也有很多类似的情况，这也是为什么我会花很多业余时间来调查我们的倾向，从我们的sysops和工程师团队找到 某些原因。从根源上，这种诱惑，或者说陷阱，来自于认为：这些服务如此“核心”， 以至于不能去相信不成熟的带有争议的抽象软件层；同时这些服务如此“重要”，以至于不能与其它耗用RAM，CPU或者IO资源的服务放在同一台设备中。其 结局就是变成很多宠物，每个宠物都是一个单点故障，而且系统变得很复杂：最佳情况是记不得每台机器是干什么的；最坏情况是一团混乱。

我们要做的第一件事情就是打破这种复杂性，我们需要为“非宠物化的核心服务”（pet-free core services）设置一些基本规则，他们是：

• 仅把绝对需要的放入“核心服务”

• 自动部署（相对于需要ssh，敲命令部署模式）

• 在很多“轻量级设备(beefier machines)”中运行更多服务

• 跟主机名和物理机无关

• 跟每种服务RAM和CPU限制隔离

• 核心服务必须是冗余的

标题 ##LXC容器，资源管理器和容器管理战争

关于server和devops正在进行一场解构性的竞赛，从这点上来说，我认为，目前说“Docker是容器的最佳选择”是安全的。不管是否同 意以上说法，大多数人已经开始尝试Docker了，至少目前Docker很火，在大多数场景下适用，实用，独特；因此把服务Docker化会感到安全，而 CoreOS Kerfuffles看起来短期内不会改变这种状况。

资源管理的竞争更复杂一些。Hadoop生态环境都已经转移到Yarn上。Yarn不太适合非hadoop化的环境(non-hadoop- things)，而对于传统hadoop环境（2U设备带12块硬盘）非常有效，尽管不是专用目的，其有效率可以达到将近100%。尽管场景不太一样，但 是hadoop基本会将Mesos或者Kubernetes运行在Yarn上以便更好利用设备资源。

仍然有很多其它服务不需要运行在hadoop环境上，我喜欢选择Mesos来管理他们。关于这点，我持开放的态度，等待各种批评。但是为什么我要 选在Mesos？因为Mesos使用了一种直接的，基于成熟高可用组件zookeeper的安装方式，它有大量的用户，成熟的文档，而且我喜欢 amplab---尽管这并不是最重要的原因，我后面会解释。

容器管理领域似乎还是硝烟弥漫，Kubernetes有（a Clintonesque inevitability to it），考虑到现状，尤其是Mesosphere提供了另外一种Mesos框架，我们可以合理推断最终会采用Kubernetes。现在，我会演示并且详 细记录基于Marathon的实现方式。

这里我表示再次开放接受批评。。。。

但是，事实确实是这样的，如果你对比一下配置文件，大家看起来几乎是一样的-----json文件中配置用什么

Docker image，多少实例，多少CPU，内存，什么端口，服务，以及一些通用“行话”。如我在资源管理器中所说，这些都无关紧要。。。（开放接受批评。。。） 好吧，这里我可能过度简化了，但是我会强调Kubernetes配置、Marathon配置和其他类似配置，我觉得如果我可以了解不同，我就可以挑出最好 的一个。如果这样，与其等着其中某一个统治这七个王国，我可以主动挑一个，而且如果一旦发现有问题也可以毫无问题的重选。实际上，这种抽象的美妙之处在于 他们可以共存而且你可以随时转向一个更好的。

我的论点是：Docker是许多真实配置和提交代码最终运行的地方，没有其它强有力的竞争者。即使突然出现一个，肯定需要方便办法从Docker移植过去。同时，容器管理领域还需要继续演进，这可以接受，我不会等着，而是会主动先去尝试各种选择，来体会带来的好处。

标题 ##Docker宠物

在此观点被广泛接受前，我还想指出关于Docker的一件事情。

使用dockerfiles来编译Docker images是一种目前唯一可行的方法。如果你连接或者ssh到一个细心雕琢的image，最后用‘docker push’来创建她，这是一只宠物，一个Docker宠物，在某些地方，他们还会吃狗（原文：In some countries, they still eat dog），如果文化上可以接受，那就会存在（原文：if that's culturally acceptable, so be it）。手动创建images？不是吧？但是如果你不能回退20条命令前的配置，或者只能通过改变代码回到基础OS，你又在让Docker等同于一只宠物 了。

标题 ##意识流的终结（END OF MY STREAM OF CONSCIOUSNESS OPINION-FEST）

好吧，前面都是让我做下面这些事情的推动力。接下来，我要做的就是让所有的核心服务都运行在Docker中，而与机器本身配置没有任何关系。一旦我们有了最小一组核心服务，我们可以用一种易于部署和扩展的方式让所有其他服务运转起来，提供一种完全使用设备资源的能力。

标题 ##开始搭建集群（Finally Building The Cluster）

我们要搭建的集群包括两部分：核心节点和一系列Mesos从服务节点。为了简化，我尽量在示例配置中避免一些问题，但是如果你用于生产，则不能忽略这些。

另外，一些机器配置命令也用命令行方式直接写出来，在实际中，这些命令需要用PXE boot和ansible/chef/puppet等方式。

## 标题 ## ##在所有节点上

假设你已经安装好了vanilla Ubuntu或者其他你愿意的系统。。。。。

## ## 标题 ## ## ##激活swap和内存记账（accouting）

sudo sed -i 's/^GRUB_CMDLINE_LINUX=""/GRUB_CMDLINE_LINUX="cgroup_enable=memory swapaccount=1"/' /etc/default/grub sudo update-grub

## ## 标题 ## ## ##添加docker repo和最新安装包

echo deb https://get.docker.com/ubuntu docker main > /etc/apt/sources.list.d/docker.list apt-get update apt-get install lxc-docker

标题 ##在核心节点上

为了安装核心节点，我们选择三台相对比较强劲的硬件设备。需要安装的典型服务包括bind，dhcp，zookeeper，mesos和 marathon。每个服务都要运行在容器中，每个容器都带有合理容量的内存和CPU，关键点在于每种服务都有各自的image和唯一的配置文件（包含主 机名，IP，同种服务通过动态环境变量传递），这种方式给核心服务以冗余性，隔离性，可移植性等重要特性。

在配置过程中，bind和dhcp服务都采用无状态主服务器模式，而不是基于failover策略的主从模式；另外，每个实例都从nginx服务（从一个git repo上同步）上获得自己的配置，

## 标题 ## ##zookeeper

## ## 标题 ## ## ##配置数据卷（data volumes）

在每台节点上，运行如下命令：

mkdir -p /disk/ssd/data/zookeeper mkdir -p /disk/ssd/log/zookeeper docker run -d -v /disk/ssd/data/zookeeper/data:/data --name zookeeper-data boritzio/docker-base true docker run -d -v /disk/ssd/log/zookeeper:/data-log --name zookeeper-data-log boritzio/docker-base true

## ## 标题 ## ## ##每个节点上启动zookeeper

this just assigns the zookeeper node id based on our numbering scheme with is machine1x0 -> x+1 MACHINE_NUMBER= hostname | perl -nle '$_ =~ /(\d+)$/; print (($1+10-100)/10)' docker run -e ZK_SERVER_ID=$MACHINE_NUMBER --restart=on-failure:10 --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 -e HOSTNAME= hostname -e HOSTS=ops100,ops110,ops120 -m 2g --volumes-from zookeeper-data --volumes-from zookeeper-data-log boritzio/docker-zookeeper

## 标题 ## ##mesos master

## ## 标题 ## ## ##配置数据卷（data volumes）

mkdir -p /disk/ssd/data/mesos/workdir docker run -d -v /disk/ssd/data/mesos/workdir:/workdir --name mesos-workdir boritzio/docker-base true

## ## 标题 ## ## ##启动mesos master

docker run --restart=on-failure:10 --name mesos-master -p 5050:5050 -m 1g -e MESOS_ZK=zk://ops100:2181,ops110:2181,ops120:2181/mesos -e MESOS_CLUSTER=factual-mesosphere -e MESOS_WORK_DIR=/workdir -e MESOS_LOG_DIR=/var/log/mesos/ -e MESOS_QUORUM=2 -e HOSTNAME= hostname -e IP= hostname -i --volumes-from mesos-workdir boritzio/docker-mesos-master

标题 ##marathon

## 标题 ## ##启动marathon

use host network for now... docker run --restart=on-failure:10 --net host --name marathon -m 1g -e MARATHON_MASTER=zk://ops100:2181,ops110:2181,ops120:2181/mesos -e MARATHON_ZK=zk://ops100:2181,ops110:2181,ops120:2181/marathon -e HOSTNAME= hostname boritzio/docker-marathon

标题 ##从（slave）节点上

这是我们的“奶牛”设备。实际工作中，需要对他们分配合适的机柜和规则。

## 标题 ## ##添加mesosphere repo和最新安装包

echo "deb http://repos.mesosphere.io/ubuntu/ trusty main" > /etc/apt/sources.list.d/mesosphere.list apt-key adv --keyserver keyserver.ubuntu.com --recv E56151BF apt-get update && apt-get -y install mesos

## 标题 ## ##set up slave

确保zookeeper和mesos master在slave设备上没有运行

sudo stop zookeeper echo manual | sudo tee /etc/init/zookeeper.override sudo stop mesos-master echo manual | sudo tee /etc/init/mesos-master.override

拷贝 zookeeper config 和设置本地IP地址

echo "zk://ops100:2181,ops110:2181,ops120:2181/mesos" > /etc/mesos/zk HOST_IP= hostname -i echo $HOST_IP > /etc/mesos-slave/ip #add docker to the list of containerizers echo 'docker,mesos' > /etc/mesos-slave/containerizers #this gives it time to pull a large container echo '5mins' > /etc/mesos-slave/executor_registration_timeout #this gives the mesos slave access to the main storage device (/disk/ssd/) mkdir -p /disk/ssd/mesos-slave-workdir echo '/disk/ssd/mesos-slave-workdir' > /etc/mesos-slave/work_dir #ok, now we start start mesos-slave

标题 ##HAPROXY代理

为了使得系统对下层节点真正透明，需要运行一台负载均服务。Marathon中内置一个简单脚本，它会从marathon api中拉（pull）下服务状况，更新HAproxy配置，这点很棒，但是因为marathon的工作模式，每个可访问服务都被分配一个对外的“端口号 （service port）”，这些端口号都是HAproxy配置对外发布的。那么问题是，所有服务都想通过80端口发布自己的服务，因此另外一个proxy需要放置在 marathon配置的HAproxy之前。

Docker, Mesos, Marathon以及宠物模式的终结

标题 ##为服务和主节点设置简称（ALIASES ）

Mesos Master，Marathon和Chronos都有webUI和RESTFul API接口，但是他们运行的多主机方案有些许不同。某些情况下，像Marathon和Chronos，和任何slave主机通讯将被proxy到主服务 器；而对于Mesos主服务器，slave服务器上的web应用将会被重定向到主服务器。

期望用户去了解哪台服务器是主服务器，这肯定是不好的用户体验。因此，我们会提供一个可负载均衡的代理服务器，提供简称服务，例如：mesos.mydomain.com,marathon.mydomain.com,或者chronnos.mydomain.com

标题 ##haproxy for mesos master

首先我们把mesos.mydomain.cn的DNS指向到haproxy节点，然后把所有mesos-master节点加到最后。现在有一个 技巧，我们想haproxy只代理发到制定主节点上的请求，为了做到这一点，所有非master节点将会对健康检查请求返回失败。这个方式保证对新选举出 来的主服务器，一样可以提供一致性，保证指向最新的master服务器。

这里的技巧是，当查看/master/state.json，主服务器可能有不同的响应，我们查询字符串‘elected time’，这个只从主服务器上返回。

backend mesos mode http balance roundrobin option httpclose option forwardfor option httpchk /master/state.json http-check expect string elected_time timeout check 10s server ops100 10.20.6.123:5050 check inter 10s fall 1 rise 3 server ops110 10.20.40.203:5050 check inter 10s fall 1 rise 3 server ops120 10.20.51.2:5050 check inter 10s fall 1 rise 3

以上结果返回两个失败节点和一个健康节点。

标题 ##Our First Services

在保证我们有足够的基础平台基础上，可以运行剩下的服务。现在主服务起来后，剩下的服务都可以通过现在的框架进行管理。说明一下这点，我们实际上会再Marathon之上运行基于Docker上的Chronos。不仅仅是因为这是说明这点的正确方式，也是正确的运行方式。

## 标题 ## ##LAUNCH SCRIPT

可以通过marathon gem或者只是做一个简单的脚本，例如：

!/bin/bash if [ "$#" -ne 1 ]; then echo "script takes json file as an argument" exit 1; fi curl -X POST -H "Content-Type: application/json" marathon.mycompany.com/v2/apps -d@"$@"

启动若干服务器后，marathon UI看起来是这样的：

Docker, Mesos, Marathon以及宠物模式的终结

## 标题 ## ##CHRONOS

Chronos本质上是cron-on-mesos，这是一个用来运行基于容器定时任务的Mesos框架，我们将会提供基于Marathon的几个实例。

我们可以用json配置来描述服务。

{ "id": "chronos", "container": { "type": "DOCKER", "docker": { "image": "boritzio/docker-chronos", "network": "HOST", "parameters": [ { "key": "env", "value": "MESOS_ZK=zk://ops100:2181,ops110:2181,ops120:2181/mesos" }, { "key": "env", "value": "CHRONOS_ZK=ops100:2181,ops110:2181,ops120:2181" } ] } }, "instances": 3, "cpus": 1, "mem": 1024, "ports": [4400] }

然后我们把json配置贴到marathon API服务器上，

~/launch.sh chronos.json

显示如下：

Docker, Mesos, Marathon以及宠物模式的终结

标题 ##Launch Away!

结果就是这样了。以上方法给我们一个好的思路，针对“太核心”服务，不需要太多妥协，帮助我们设置一个相对“非宠物式环境（pet-free environment）”。当你熟悉这种方法后，有时候尽管临时服务会比较慢，但是从全局看，对所有服务都提供一种更好的环境，特别是当硬盘损坏时。

Gratuitous Promotion-y Stuff

如果你读了所有内容，而且对你看到的有很强的想法，并且想帮助我们提供更加自动和优化devops，可以看看如下链接：包括 : http://www.factual.com/jobs/ow ... neer.

我很少使用tweet，但是大家可以联系我@shimanovsky.

标题 ##所有代码

在以下连接中我包括了所有自动创建的Dockerfiles和marathon服务配置，希望能够帮助大家了解这篇文章中省略的内容

标题 ##CORE SERVICES

Zookeeper

https://github.com/bfs/docker-zookeeper

Mesos Master

https://github.com/bfs/docker-mesos-master

Marathon

https://github.com/bfs/docker-marathon

标题 ##RUN THESE ON MARATHON

Chronos

https://github.com/bfs/docker-chronos

标题 ##一些使用marathon的应用配置

Ruby Web App (Rails or Sinatra) From Github

以下是配置步骤，用来从Github获取代码部署为ruby web应用。我们用它来启动几个内部Sinatra应用。

Docker: https://github.com/bfs/docker-github-rubyapp

Marathon Config: https://gist.github.com/bfs/b34b7e09b0a2360e60e1

Postgresql with Postgis

以下是带Postgisde Postgresql服务，可以用Marathon启动 Docker: https://github.com/bfs/docker-postgis

Marathon Config: https://gist.github.com/bfs/be77416a19bec481b584

–Boris Shimanovsky, VP of Engineering

Discuss this post on Hacker News.

Tweet

Categories: Data, Engineering and Product