使用NGINX和NGINX Plus进行Docker Swarm负载均衡
asfeixue
8年前
<p>在2016年九月奥斯丁nginx.conf大会上,我做了一个关于如何在Docker Swarm集群中使用NGINX和NGINX Plus的 <a href="/misc/goto?guid=4959735871460000451" rel="nofollow,noindex">介绍</a> 。在本文中,我将讨论如何结合Docker 1.12中引入的功能使用NGINX和NGINX Plus进行Docker Swarm负载均衡。所有演示示例中使用的文件在GitHub上都可以找到。</p> <h3>概述</h3> <p>Docker 1.12版本,在2016年7月下旬发布,集成了Docker Engine和Swarm,并添加了一些新的编排功能,创建一个类似于其他容器平台(例如Kubernetes)的平台。在Docker 1.12中,Swarm模式允许您将一组Docker主机组合成一个群集,提供一种容错、自我修复的分散式架构。这种新平台设置Swarm集群更加容易,并且使用密钥保护所有节点,节点之间的所有通信都通过TLS加密。</p> <p>同时,Docker API已经朝着认知服务方面进行扩展,这些服务是使用相同镜像的容器集(类似于Docker Compose中的服务,但具有更多功能)。您可以创建和扩展服务,执行回滚更新,创建运行状况检查等。此外,内置了DNS服务发现和负载均衡,您可以设置覆盖集群范围的网络。</p> <h3>Docker Swarm负载均衡拓扑</h3> <p>在本次讨论与演示中,我创建了三个Swarm结点——一个master结点和两个worker结点。【注意:在演示文稿的幻灯片中,结点被标注为Swarm Manager和Swarm Node。】在Master结点上可以运行Swarm命令。Swarm在所有结点上进行调度、DNS服务发现、扩展和容器负载均衡(在图中由小框表示)。</p> <p><img src="https://simg.open-open.com/show/6d650e2d01d63e612a698cbc0c946040.png"></p> <p><center>图1 一个master结点两个worker结点的Docker Swarm集群</center></p> <p>要在集群内的容器之间提供私有网络通信,容器可以连接到跨集群所有节点的多个内部覆盖网络。容器可以通过Swarm负载均衡器连接集群外部。</p> <p><img src="https://simg.open-open.com/show/174222fa8353850c75a939899d40ddb3.png"></p> <p><center>图2 Docker Swarm集群内外网络连接图</center></p> <p>Docker Swarm负载均衡器运行在每个节点上,可以在集群中任何主机上跨容器负载均衡请求。在没有NGINX或NGINX Plus的Swarm部署中,Swarm负载均衡器处理入站客户端请求(由图3中的绿色箭头表示)以及内部服务到服务请求(由红色箭头表示)。</p> <p><img src="https://simg.open-open.com/show/fe3976d3943ce433d529cd2295cd1243.png"></p> <p><center>图3 在没有NGINX或NGINX Plus的集群中客户端和服务到服务请求的负载均衡</center></p> <p>既然Swarm拥有负载均衡,为什么需要另一个负载均衡器? 一个原因是Swarm负载均衡器是TCP层负载均衡器。许多应用程序需要额外的功能,如下所示:</p> <ul> <li>SSL/TLS终端</li> <li>基于内容的路由(例如,基于URL或header)</li> <li>访问控制和授权</li> <li>重写和重定向</li> </ul> <p>此外,您可能已经具有负载均衡器的经验,与Swarm一起使用它,能够充分利用已有的工具和您丰富的知识。</p> <h3>使用开源的 NGINX 和 NGINX Plus</h3> <p>开源NGINX和NGINX Plus是两个负载均衡器,提供了Swarm自身负载均衡器缺少的关键应用功能。</p> <p>使用开源 NGINX</p> <p>开源的NGINX软件提供了前面提到的功能(SSL/TLS终端等),包括:</p> <ul> <li>负载均衡算法的选择</li> <li>多种协议,例如HTTP/2和WebSocket</li> <li>可配置的日志记录</li> <li>流量限制,包括请求速率,带宽和连接数</li> <li>高级用例的脚本,使用Lua,Perl和JavaScript(使用nginScript动态模块)</li> <li>安全功能(例如白名单和黑名单)</li> </ul> <p>使用开源NGINX的最简单的方法是将其部署为具有一个或多个容器的服务。 NGINX服务的必要端口暴露在集群上,Swarm负载均衡器将这些端口上的请求分发到NGINX容器。</p> <p><img src="https://simg.open-open.com/show/ec0a6f18c2abe8c357eadfd1111262a7.png"></p> <p><center>图4 Swarm负载均衡器在实例之间分配对NGINX服务的请求</center></p> <p>在本示例中,NGINX提供的服务是SSL/TLS终端。为了说明这是如何工作的,我们在集群中部署后端服务A,并将其扩展为具有三个容器(一个节点上有两个实例,另一个节点上有一个实例,如图5所示)。Swarm向服务A分配虚拟IP地址(VIP),用以在群集内使用。我们在服务A上游组的NGINX配置中使用此VIP,而不是列出容器的各个IP地址。这样我们可以扩展服务A,而不必更改NGINX配置。</p> <p>如图5所示,当客户端向第一个Swarm节点发出服务A请求时,该节点上的Swarm负载均衡器将请求路由到NGINX。NGINX处理请求,进行SSL/TLS解密,并将其路由到服务A的VIP。Swarm负载均衡器将任何Swarm节点上的(现在未加密的)请求路由到服务A的容器之一。</p> <p><img src="https://simg.open-open.com/show/ed97d54b773af1137f2fc87413b07845.png"></p> <p><center>图5 NGINX为外部客户端请求提供SSL/TLS终端功能</center></p> <p>NGINX可以直接向后端容器提供负载均衡请求,并且还可以处理内部服务到服务请求,但是解决方案更为复杂,每次对服务A进行扩展时,需要更改和重新加载NGINX配置。稍后将讨论如何使用NGINX Plus更容易完成。</p> <p>使用NGINX Plus</p> <p>NGINX Plus提供的一些附加功能包括:</p> <ul> <li><a href="https://www.nginx.com/products/application-health-checks/?utm_source=docker-swarm-load-balancing-nginx-plus&utm_medium=blog&utm_campaign=Cloud" rel="nofollow,noindex">活跃应用健康检查</a> ——NGINX Plus会持续检查后端节点,以确保其正常运行并正确响应,并从负载均衡轮换中删除不正常的节点。</li> <li><a href="https://www.nginx.com/products/session-persistence/?utm_source=docker-swarm-load-balancing-nginx-plus&utm_medium=blog&utm_campaign=Cloud" rel="nofollow,noindex">会话持久性</a> ——也称为粘性会话,并且需要客户端继续将其请求发送到同一后端的应用程序。 当您需要使后端服务器脱机而不影响有打开会话的客户端时,NGINX Plus支持会话耗尽。</li> <li><a href="https://www.nginx.com/products/on-the-fly-reconfiguration/?utm_source=docker-swarm-load-balancing-nginx-plus&utm_medium=blog&utm_campaign=Cloud" rel="nofollow,noindex">动态重新配置</a> ——这提供了伸缩后端的能力,而不需要更改和重新加载NGINX配置。这在使用诸如Swarm的微服务平台进行服务发现时尤其有用,它是允许NGINX Plus与这些平台完全集成的最重要的功能之一。<br> 有两种动态重新配置方法:一种是通过API允许您将更改推送到NGINX Plus;另一种是DNS,NGINX Plus会持续检查连接到域名的节点数量的变化,在NGINX Plus演示中使用的就是这种方法,用以集成Swarm中内置的服务发现。</li> <li><a href="https://www.nginx.com/products/live-activity-monitoring/?utm_source=docker-swarm-load-balancing-nginx-plus&utm_medium=blog&utm_campaign=Cloud" rel="nofollow,noindex">实时活动监控</a> ——提供用于从NGINX Plus获取大量指标的API,以及基于API构建的Web信息中心,您可以在其中查看指标以及添加,删除和更改后端服务器。</li> </ul> <p>在上述开源NGINX配置中,Swarm负载均衡器将外部请求分发到后端容器,并在其中处理服务到服务请求。NGINX的作用是SSL/TLS卸载。</p> <p>当使用NGINX Plus时,来自外部客户端的客户端请求首先访问Swarm负载均衡器,而NGINX Plus对后端容器进行实际负载均衡(图6)。有客户端请求到达Swarm负载均衡器时,提供一个简单的方法使NGINX Plus高可用。</p> <p><img src="https://simg.open-open.com/show/6bb9507c6e74e2e59caec46b8983596a.png"></p> <p><center>图6 Docker Swarm负载均衡器将客户端请求转发到NGINX Plus用以实现服务实例之间负载均衡</center></p> <p>类似地,Swarm负载均衡器接收服务间请求,而NGINX Plus实际上在服务之间分发它们(图7)。</p> <p><img src="https://simg.open-open.com/show/f28d84f9d2a3859e153d66b69d6bfaf5.png"></p> <p><center>图7 Docker Swarm负载均衡器将服务间请求转发到NGINX Plus用以海鲜服务实例之间负载负载</center></p> <h3>示例</h3> <p>为了提供一些在使用和不使用NGINX的情况下使用Swarm for Docker负载均衡的例子,我创建了三个示例。所有这些演示的文件以及详细的说明都可以在 <a href="/misc/goto?guid=4959735871891653001" rel="nofollow,noindex">GitHub</a> 上找到。三个示例如下:</p> <ul> <li><a href="/misc/goto?guid=4959735871971384155" rel="nofollow,noindex">Docker Swarm负载均衡</a></li> <li><a href="/misc/goto?guid=4959735872058916266" rel="nofollow,noindex">使用开源NGINX的Docker Swarm负载均衡</a></li> <li><a href="/misc/goto?guid=4959735872139714952" rel="nofollow,noindex">使用NGINX Plus的Docker Swarm负载均衡</a></li> </ul> <p>Docker Swarm负载均衡</p> <p>这个示例是使用Docker Swarm负载均衡请求到一个简单的web应用后端,没有NGINX或NGINX Plus。</p> <p>使用开源NGINX的Docker Swarm负载均衡</p> <p>这个示例添加了开源的NGINX,为外部请求提供SSL/TLS卸载。Swarm负载均衡器将请求分发到与上一个演示中相同的简单Web应用程序后端,并处理内部服务到服务请求。</p> <p>使用NGINX Plus的Docker Swarm负载均衡</p> <p>这个示例有两部分。第一部分使用NGINX Plus,它除了执行SSL/TLS卸载外,还将请求直接加载到后端容器,并处理内部服务到服务请求。它与Swarm服务发现集成,使用动态DNS来频繁地重新解析与后端关联的域名。NGINX Plus负载平衡两个后端服务Service1和Service2。它通过让Service1向Service2发出请求来演示内部服务到服务请求。</p> <p><img src="https://simg.open-open.com/show/60bc9f34e353904489792f248da24ca7.png"></p> <p><center>图8 NGINX Plus使用Swarm的动态DNS服务发现机制负载均衡后端服务</center></p> <p>第二部分显示如何将NGINX Status API与Docker Service API组合,以自动伸缩后端容器。Python程序使用NGINX Plus Status API来监视Service1和Service2上的负载,以及Docker Swarm Service API进行后端容器的伸缩。</p> <p><img src="https://simg.open-open.com/show/f9418cdc6a2cb1701843f47dc76ba978.png"></p> <p><center>图9 Docker Swarm使用NGINX Plus实时活动监视来跟踪服务负载以实现自动伸缩</center></p> <h3>总结</h3> <p>Docker 1.12中引入的新功能使Swarm成为一个更强大的平台,也可以通过利用开源NGINX和NGINX Plus来进一步增强。NGINX Plus使用DNS动态重新配置后端容器实现负载均衡的能力,加上Status API提供的可见性,是一个非常强大的容器解决方案。</p> <p> </p> <p>来自:http://dockone.io/article/2050</p> <p> </p>