用于统一开发和部署的轻量级 Linux 容器:Docker
Linux 容器
使用Docker容器——轻量灵活的VM同类,来接管“依赖地狱”。学习Docker是如何基于LXC技术,通过把应用包装在容器里来使应用具有移植性和独立性。
想象一下可以轻松地把应用和它的依赖打包,然后在其他的开发、测试和生产环境上平滑的运行。这就是开源Docker项目的目标。尽管它现在还没正式到生产阶段,最新的发布(本篇文章编写时是0.7.x)使得Docker实现这一伟大目标又近了一步。
Docker容器试图解决“依赖地狱”问题。现代的应用通常从已存在的组件组合而来,并且依赖其他服务和应用。比如,你的Python应用可能使用Postgre所为一个数据存储,用Redis缓存以及使用Apache作web服务器。每个这些组件都附带自身的一些依赖,这些依赖可能与其他组件产生冲突。通过打包每个组件及其依赖,Docker容器解决以下问题:
-
冲突依赖:需要在PHP4.3上运行一个web站点而另一个运行在PHP5.5上?如果你在一个独立的Docker容器中运行每个版本的PHP,那就没问题。
-
缺少依赖:在一个新环境上安装应用对Docker容器来说只是瞬间的事情,因为所有的依赖都和这个应用一起打包到一个容器中。
-
平台依赖:从一个发行版移动到另一个不再是一个麻烦。如果两个系统都运行了Docker容器,那么相同的容器执行起来将没有任何问题。
Docker容器:一点背景
2013年初,Docker在dotCloud—一个平台即服务的、以云计算为中心的公司,以一个开源项目的形式诞生。Docker是该公司已经开发的用来在数千台服务器上运行云业务的一个自然扩展技术。它是用Go语言编写的,Go语言是由谷歌开发的一种基于C语言且语法松散的静态类型编程语言。快速发展了6到9个月,这家公司聘请了一个新的CEO,加入了Linux基金会,将公司名改为Docker,并且宣布将工作重心转移到Docker容器及其生态系统的开发。作为Docker容器的受欢迎程度进一步说明,在写这篇文章的时候,它已经在GitHub上被 Star 8985次并 Fork1304次。图1表明了Docker容器在谷歌搜索持续上升的受欢迎度。随着Docker公司发布了第一个版本容器的产品部署以及广泛的社区知道了Docker容器的有用性,预计过去12个月的波形图将会在未来12个月内相形见绌。
图1. 过去12个月Docker软件在谷歌搜索上的趋势图
在引擎罩下
Docker运用了一些强大的内核级技术并让我们触手可及。容器虚拟化的概念早在几年前已经出现,但通过提供一个简单的工具集和统一的API接口管理一些内核级技术,如LXCs(Linux容器)、cgroups和一个写复制文件系统,Docker已经创建了一个比其各部件更好的工具。它就是一个潜在的用于开发运营商、系统管理员和开发者的规则转换器。
Docker提供工具使得利用容器创建和操作尽可能简单,容器沙箱相互处理。你可以暂时把一个容器当成一个轻量级的虚拟机。
Linux容器和LXC,一个用于Linux容器的用户空间控制程序包,是组成Docker的核心,LXC使用内核级命名空间将主机和容器相互隔离。用户命名空间将主机和容器的用户数据库分离,这样保证了容器的root用户没有主机的root权限。程序命名空间仅负责显示和管理程序在容器中,而非在主机运行。而且网络命名空间提供自己的网络设备和虚拟IP地址给容器。
LXC提供的另一个组件是控制组(cgroups)。命名空间负责主机与容器之间的隔离,而控制组实现资源核算和限制。当允许Docker限制被一个容器消耗的资源:如内存、磁盘空间和输入输出时,控制组也会输出大量与之相关的指标。这些指标使Docker能够监控容器内各个进程的资源消耗并确保每个进程只获取可用的公平共享资源。
除了以上组件,Docker一直在用AuFS(高级多层次统一文件系统)作为容器的文件系统。AuFS是一个能透明覆盖一或多个现有文件系统的层状文件系统。当一个进程需要修改一个文件时,AuFS创建该文件的一个副本。AuFS可以把多层合并成文件系统的单层表示。这个过程称为写复制。
真正酷毙的是,AuFS允许Docker把某些镜像作为容器的基础。例如,你可能有一个可以作为很多不同容器的基础的CentOS系统镜像。多亏AuFS,只要一个CentOS镜像的副本就够了,这样既节省了存储和内存,也保证更快速的容器部署。
使用AuFS的另一个好处是Docker的版本容器镜像能力。每个新版本都是一个与之前版本的简单差异改动,有效地保持镜像文件最小化。但,这也意味着你总是要有一个记录该容器从一个版本到另一个版本改动的审计跟踪。
传统上,Docker依赖AuFS提供了写复制存储机制。然而,最近添加的一个存储启动API可能降低这种依赖。最初,可用的存储驱动有三种:AuFS、VFS和设备映射器-与红帽合作的产物。
自版本0.7起,Docker就与所有Linux发行版协作。然而,它并没有兼顾大部分非Linux系统,如Windows和OS X。在那些操作系统上使用Docker的推荐方式是,用Vagrant在VirtualBox上提供一个虚拟机。
容器VS.其他虚拟化类型
那容器到底什么是以及它与基于管理程序的虚拟化的区别是什么?简单地说,容器在操作系统层面虚拟化,而基于管理程序的虚拟化在硬件层面。效果类似,但区别很重要,这也是我花了点时间探索它们的差异和由其产生的差异和权衡的原因。
虚拟化:
容器和虚拟机(VMs)都是虚拟化工具。在虚拟机上,一个管理程序使各个孤立的硬件可用。通常,这包括两种类型的管理程序:类型1直接运行在硬件裸金属片上,而类型2则在客户操作系统上作为软件附加层运行。开源的Xen和VMware的ESX是类型1 的例子,类型2的实例包括Oracle的开源VirtualBox和VMware服务器。虽然相比Docker容器而言,类型1是个更好的候选,但我在文章的其他部分并不区分这两种类型。
与此相反,容器构造操作系统中可用的受保护部分-它们有效地虚拟化操作系统。运行在同一个操作系统上的两个容器不知道它们在共享资源,因为彼此拥有自己的抽象网络层和进程等等。
操作系统和资源
由于基于hypervisor的虚拟化仅仅提供了对硬件的访问,因此你还需要安装操作系统。这样就会运行多个完整的操作系统,每个虚拟机上运行一个,这将快速地吃完服务器上的诸如内存(RAM)、CPU和带宽等资源。
容器运行在操作系统之上,把正在运行的操作系统当作自己的主机环境。它只运行在这样的空间上:这些空间是主机操作系统的一部分,而且各个容器使用的空间相互独立。这会带来两个非常鲜明的优点。第一个优点是更高效的使用资源。如果一个容器不执行任何操作,那么它就不会耗尽资源,而且容器可以调用自己所在的主机操作系统以实现其所需要的部分或者全部功能。第二个优点是容器成本低,因此可以快速地创建和删除容器。容器不需要对整个操作系统进行重启或者关闭。容器仅仅需要的终止运行在自身独立空间的进程。因此启动和停止容器更像是启动和退出某个应用,因此启动和停止就非常快。
图2展示了两种类型的虚拟机和容器
图2.虚拟机和容器
独立的性能和安全
Docker容器里所执行的进程与宿主机操作系统上运行的进程或者运行在其它Docker容器里的进程是相互独立的。不过,所有的进程都是运行在相同的内核里。Docker使用LXC来给每个容器提供独立的命名空间,内核里的这项技术已经具有5年多的历史了,已经十分成熟。另外,容器还使用了控制组,Linux内核里的这项技术比LXC的历史更长,它对资源进行审核和限制。
Docker服务进程本身还是一个潜在的攻击载体,这是因为它目前只能以root权限运行。对LXC和Docker的改进都应当允许以非root权限运行容器,而且可以用另外一个用户运行Docker服务进程。
虽然容器所使用的这种类型的隔离总的来说非常强大,然而是不是像运行在hypervisor上的虚拟机那么强壮仍具有争议性。如果内核停止,那么所有的容器就会停止运行。虚拟机具有优势的领域是它十分成熟,而且广泛的应用在生产环境中。相比之下,Docker和它的支撑技术几乎没有任何行动。特别是Docker每天都进行大量的修改变化,而且我们大家都知道变化是安全的天敌.
Docker和虚拟机-亦敌亦友
上面我们一直在对Docker和虚拟机进行比较,现在该看看这两种技术彼此在哪些方面是真正互补的。Docker在虚拟化的环境下运行的非常好。很显然,你不需要对各个虚拟主机的每个应用或者组件进行封装。而且假定给你一台Linux虚拟机,你就能够很容易地部署上Docker容器。这也就是在非Linux系统,比如OS X和Windows上运行Docker的官方安装方式是在Vagrant的协助下安装基于Ubuntu虚拟机的Precise64不让你感到吃惊的原因所在。http://www.docker.io站点有详细并且简单的指令。
首先,虚拟化和容器在某些方面表现的非常相似。一开始,这让你觉得容器就是非常轻量的虚拟机。然而,随着你对容器的认识,你对容器的理解就会有微妙的并且是重大的不同。Docker在容器最擅长的领域即轻量级应用的打包和部署方面都能充分发挥容器的长处。
Docker仓库
Docker杀手级特性之一就是能够快速的查找、下载和启动由其他开发者创建的容器映像。存储映像的地方称为注册中心。Docker有限公司提供一个公共的注册中心,这个注册中心也称为索引中心。你可以把这个注册中心和Docker客户端看作与Node的NPM,Perl的CPAN或者Ruby的RubyGems等同。
除了可以用来创建Docker容器的各种基本映像外,公共的Docker注册中心还提供即刻即可运行的软件映像,其中包括数据库、内容管理系统、开发环境和Web服务器等等。默认情况下Docker命令行客户端搜索的是公共的注册中心,不过,也可以维护私有的注册中心。如果要发布含有专有知识产权代码的或者仅公司内部使用的组件的映像,那么注册中心就是一个很好的选择。把映像上传到注册中心就像下载一样容易。只要求你创建一个账户,而且这一切都是免费的。最后,Dcoker有限公司的注册中心还有Web界面,方便对映像进行搜索、读取、评论和推荐(即“标记星号”)。映像使用起来出奇的容易,我鼓励你这篇文档资源一小节里的链接,开始浏览映像。
手把手教你使用Docker
Docker是有单个二进制文件组成的,这个二进制文件可以以三种方式来运行。第一种,它可以作为管理容器的服务进程运行。服务进程向外提供既可以进行本地访问也可以进行远程访问的基于REST风格的API。越来越多的客户端数据库可与服务进程API进行通信,其中包括Ruby,Python,JavaScript(Angular和Node),Erlang,Go和PHP提供的客户端库.
客户端库大多数情况下都是通过编程来来访问服务进程的,不过更经常使用的情况则是通过命令行提交指令。这也就是运行Dcoker二进制文件的第二种方式,即通过命令行客户端访问基于REST风格的服务进程。
第三种方式,Docker二进制文件可以运行为访问远程映像仓库的客户端。生成容器文件系统的映像被称作仓库。用户可以下载别人提供的映像,还可以上传自己的映像到注册中心,从而共享这些映像。注册中心用来收集,罗列和组织这些仓库。
让我们看看实际中运行Docker的这三种方式。在下面的例子里,你将搜索Docker仓库,查找MySQL映像。因此你找到所喜欢的映像,然后下载它,接着告诉Docker服务进程运行对应的命令(MySQL)。你所做的这些操作都是通过命令行进行的。
图3.下载Docker映像并启动容器
一开始,先运行docker search mysql命令,这条命令将显示公共Docker注册中心里匹配关键词"mysql"的映像列表。我确定这条命令可以正常运行,接着使用命令docker pull brice/mysql下载"brice/mysql"映像。你可以看到Docker不仅仅下载的是你所指定的映像,而且还可以下载依赖这个包所建立的其他映像。输入docker images命令,将会罗列出目前本地具有的所有映像,其中包括了"brice/mysql"映像。使用-d选项启动容器,它将会脱离当前运行的容器之外运行一个容器,此时,你已经在一个容器里运行了MySQL了。你可以使用docker ps命令来验证,这条命令经罗列出运行的容器,而不是罗列出映像。在命令行的输出里,你还能看到MySQL服务侦听的端口号,默认是3306。
然而,在知道MySQL运行在容器内部情况下,你该怎样连接到MySQL呢?切记:每个Docker容器有自己的网络接口。你需要确定的是mysqld服务器进程运行在哪个IP地址和端口上。运行docker inspect
我们使用了7条命令查找、下载、启动运行MySQL服务器的Docker容器以及使用完后关闭这个容器。在这个过程中,你不必担心与已安装软件之间存在的冲突,也不必担心MySQL的版本有什么不一样,或者存在哪些包依赖。你使用了7条不同的Docker命令:search、pull、images、run、ps、inspect和stop,不过,Docker客户端实际上有33条命令。你可以通过命令运行docker help命令或者查找在线手册来查阅全部命令列表。
在上面例子里进行Docker操作之前,我就提到了客户端与服务进程和Docker注册中心之间的通信是通过基于REST的Web服务而进行的。这就隐含地告诉你可以使用本地Docker客户端与远程的服务进程通信,从而可以有效地管理远端服务器上的容器了。Docker站点上对Docker服务进程、注册中心和索引的API都有很好的文档,并且举例给予了说明(见资源一节)。
Docker的工作流程
有多种方式可以把Docker引入到开发和部署过程里。让我们看看演示工作流程的例子,如图4。我们设想一个公司的开发人员可能运行安装了Docker的Ubuntu。他可能从公共注册中心下载映像或者上传映像到公共注册中心,并在这个映像的基础上安装自己的代码或者公司专有知识产权的软件,还要生成可上传到公司私有注册中心的映像。
在这个例子里,公司的产品质量测试环境运行的Centos和Docker。它也从公共或者私有的注册中心下载映像,然后再环境更新的时候启动各种容器。
最后,为了方便扩展和伸缩,公司把生产环境部署在云中,即部署在亚马逊的WEB服务上(AWS)。亚马逊Linux上也运行了管理不同容器的Docker。
注意:上面的所有三个环境运行着不同版本的Linux,但这三个环境都与Docker兼容。而且每个环境都运行着不同的容器组合。然而,由于每个容器都把自己的依赖同其他容器分离开来,因此不存在任何冲突,所有容器都平安地并存着。
图4.使用Docker进行软件开发的工作流程举例
认识到Docker提供的是一个以应用为核心的容器模型是非常重要的。也就是说,容器运行的是单独的应用或者服务,而不是许多应用或者服务。我们已经知道:创建和运行容器非常快而且消耗的资源也很少。由于你所使用的系统遵循单一责任法则,而且每个容器运行一个主进程,所以系统组件之间就是松耦合的。基于这个理念,我们自己就可以创建属于自己的,可以启动容器的映像了。
创建新的Docker映像
在前面的例子里,你已经通过命令行与Docker进行交互了。然而在创建映像的时候,更常见的是创建进行自动构建过程的"Dockerfile“。Dockerfile是简单的文本文件,它描述的是构建过程。你可以对Dockerfile实行版本控制,这样就可以就可以非常完美地重复创建映像了。
在接下来的例子里,我们将看看名字为PHP Box的Dockerfile(见代码清单1)。
代码清单1.PHP Box
# PHP Box # # VERSION 1.0 # use centos base image FROM centos:6.4 # specify the maintainer MAINTAINER Dirk Merkel, dmerkel@vivantech.com # update available repos RUN wget http://dl.fedoraproject.org/pub/epel/6/x86_64/ ↪epel-release-6-8.noarch.rpm; rpm -Uvh epel-release-6-8.noarch.rpm # install some dependencies RUN yum install -y curl git wget unzip # install Apache httpd and dependencies RUN yum install -y httpd # install PHP and dependencies RUN yum install -y php php-mysql # general yum cleanup RUN yum install -y yum-utils RUN package-cleanup --dupes; package-cleanup --cleandupes; ↪yum clean -y all # expose mysqld port EXPOSE 80 # the command to run CMD ["/usr/sbin/apachectl", "-D", "FOREGROUND"]
接下来我们仔细看看上面的Dockerfile都做了哪些事情。Dockerfile的语法是命令关键字,其后紧跟着是该命令的参数。通常命令关键字是大写的。注释部分是以#开头的。
FROM命令向你指明了所使用的基本映像。它必须是Docker文件的第一条命令。在这个例子里,你所做的工作都是建立在刚才新建的基本映像Centos上的。很显然,MAINTAINER命令则罗列出了维护这个Dockerfile的人员。RUN命令执行一条命令,并给出运行结果映像,因此它新创建了一个映像。这个Dockerfile里的RUN命令获取其他软件仓库的配置文件,然后使用Yum安装curl、git、wget、unzip、httpd、php-mysql和yum-utils。我们可以把这几个yum install命令合并成一条RUN命令,从而可以避免连续多次提交。
接下来的EXPOSE
命令向外部开放端口80,它就是启动容器的时候Apache要侦听的端口号。
最后一条命令 CMD
给出了容器启动时所要运行的缺省命令。启动容器就是启动一个单独的进程,这样你就可以把容器看作一条命令。
在命令行里输入docker build -t php_box .
,这时Docker就会使用当前目录下的Dockerfile开始进行构建。运行所得到的最终映像将被命名为"php_box",这样,你以后就会很容易的识别和查找这个映像。
这个构建过程下载了基本映像,紧接着安装Apache httpd以及与其相关的所有依赖。完成安装之后,将返回一个用来识别新创建映像的哈希值。这个值与你在前面启动MySQL容器时所使用的值类似。你可以使用php_box标签来运行Apache和PHP映像,命令如下: docker run -d -t php_box
。
下面我们将以很简短例子结束这篇文章,这个例子说明在已有的映像基础上如何简单地创建新映像:
# MyApp # # VERSION 1.0 # use php_box base image FROM php_box # specify the maintainer MAINTAINER Dirk Merkel, dmerkel@vivantech.com # put my local web site in myApp folder to /var/www ADD myApp /var/www
第二个Dockerfile比第一个要简短,实际上它仅仅包含了两条真正起作用的命令。首先通过 FROM
命令指定了启动的是php_box映像。然后使用 ADD
命令拷贝本地一目录到这个映像。在这个例子里,拷贝到映像的Apache的DOCUMNET_ROOT文件夹的是一个PHP项目。最终得到的结果是:启动这个映像的时候默认会启动这个服务站点。
总结
轻量级应用及其依赖打包和部署工具Docker的出现是令人激动的事情,Linux社团很快采纳了它,而且还试着在生产环境中使用。例如,Red Hat在12月就宣布将在即将发布的Red Hat Linux企业版7里支持Docker。然而,Docker仍然是一个年轻的项目,而且正在飞速发展中。看到Docker项目发布1.0版本将是多么令人激动的时刻,1.0版本将是官方批准的用于生产环境的第一个版本。Docker依靠的现有的技术,其中一些技术已经具有十几年的历史了,但这并不意味着它没有任何创新。我希望这篇文章能给你足够多有关Docker的信息,并鼓励你下载Docker,亲自试一下。
Docker最新进展
在这篇文章发布的时候,Docker团队发布了版本0.8。最新的发布增加了对Mac OS X的支持,它有两个组件组成。客户端可以运行在OS X操作系统上,而Docker服务进程则运行在由boot2docker管理的轻量级VirtualBox虚拟机上,其中也包含命令行客户端。由于底层技术,比如LXC和命名空间得不到OS X的支持,所以这么做就是必然的选择。我认为大家都在期待有类似的方案能用在其他平台上,比如Windows上。
版本0.8还引入了几个新的构建特性,并试着提供对二叉树型文件系统的支持(BTRFS)。BTRFS是另一个即写即拷贝的文件系统,另外BTRFS存储驱动用来替代AuFS驱动。
尤其值得一提的是: Docker 0.8修补了许多程序漏洞,强化了性能。总的提交数量说明Docker团队为了生成可用于生产环境的发布版1.0所做的努力。因为Docker团队是每个月进行提交的,我们期望在4-5月份这个时间窗口发布1.0版本。
资源
Docker主站点: https://www.docker.io
Docker注册中心: https://index.docker.io
Docker注册中心相关的API: http://docs.docker.com/reference/api/registry_api/
Docker Hub API :http://docs.docker.com/reference/api/docker-io_api/
Docker远端应用API:http://docs.docker.com/reference/api/docker_remote_api/
注解:由于翻译完成时Docker Index API已经更改为Docker Hub API,因此就采用的新的API。