如何在Kubernetes中暴露服务访问

   <h2>Kubernetes概述</h2>    <p>最近的一年，kubernetes的发展如此闪耀，正被越来越多的公司采纳用于生产环境的实践。同时，我们可以在最著名的开发者问答社区StackOverflow上看到k8s的问题数量的增长曲线（2015.5-2016.5），开发者是用脚投票的，从这一点看也无疑证明了k8s的火爆程度。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/351ad4f1ef626543944eec247c632a23.jpg"></p>    <p>k8s来源于Google生产环境的实践，社区活跃度很高，在github上的Star数17k+，30k+commits，同时由Google主导CNCF基金会也在强力运作k8s的社区发展，也就在几个月前OpenStack社区宣布全面拥抱k8s，这也宣布了全球第大的开源IAAS云社区已经选择k8s作为容器的唯一解决方案。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/1d63ce386e2078fdd95a9186b4f7f404.jpg"></p>    <p>谈到k8s，无论怎样的议题怎样的开始，我们都先介绍一个k8s整体架构（如下图所示）：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/38bbe61845de8328d10bbd8b5babefe5.jpg"></p>    <p>etcd 作为配置中心和存储服务，保存了所有组件的定义以及状态，k8s的多个组件之间的互相交互也主要通过etcd；</p>    <p>kube-apiserver 提供和外部交互的接口，提供安全机制，大多数接口都是直接读写etcd中的数据；</p>    <p>kube-scheduler 调度器，主要干一件事情，监听etcd中的pod目录变更，然后通过调度算法分配node，最后调用apiserver的bind接口将分配的node和pod进行关联；</p>    <p>kube-controller-manager 承担了master的主要功能，比如和CloudProvider(IaaS)交互，管理node，pod，replication，service，namespace等。</p>    <p>基本机制是监听etcd /registry/events下对应的事件，进行处理；kubelet 主要包含容器管理，镜像管理，Volume管理等；kube-proxy 主要用于实现k8s的service机制。提供一部分SDN功能以及集群内部的智能LoadBalancer。</p>    <p>本文分享的内容主要是在minion节点上的pod和service上，pod是k8s应用的具体实例抽象，而service便是这些抽象的集合。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/9512e79f70335201ba77329465c6fc5a.jpg"></p>    <h2>ClusterIP & NodePort & Loadbalancer</h2>    <p>回到本文的主题，在k8s中暴露Service访问（无论内部还是外部），都要经过kube-proxy，比如下图中我们定义一个Service，便可以通过访问Service的80端口转发到Pod的9376端口上。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/e28600370f1ed7599e2264da8c304d04.jpg"></p>    <p>kube-proxy在转发时主要有两种模式Userspace和Iptables。如下图，左侧是Userspace模式，也是kube-proxy默认的方式，所有的转发都是通过kube-proxy软件实现的；右侧是Iptables模式，所有转发都是通过Iptables内核模块实现，而kube-proxy只负责生成相应的Iptables规则。从效率上看，Iptables会更高一些，但是需要Iptables version >=1.4.11，Iptables模式在k8s1.2版本放出，是否开启使用还需要具体斟酌。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/af24d2206b4f709874191d308aaf2d04.jpg"></p>    <p>从Service本身看，有三种方式来暴露访问：</p>    <ul>     <li>ClusterIP：使用集群内的私有ip —— 这是默认值</li>     <li>NodePort：除了使用cluster ip外，也将service的port映射到每个node的一个指定内部port上，映射的每个node的内部port都一样。</li>     <li>LoadBalancer：使用一个ClusterIP & NodePort，但是会向cloud provider申请映射到service本身的负载均衡。</li>    </ul>    <p>LoadBalancer Provider主要有aws、azure、openstack、gce等云平台提供。相关实现可以在k8s的源码中看到，如下图所示：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/bfd05bc85f8080e42575f4c145c9e218.jpg"></p>    <h2>Ingress</h2>    <p>Ingress也是k8s中单独定义的对象（如下图所示），它的作用就是实现对外暴露访问的负载均衡，那么它和Service本身LoadBalancer有哪些区别呢？Ingress支持L4、L7负载均衡，LoadBalancer设计上只支持L4；Ingress基于Pod部署，并将Pod网络设置成external network；Ingress controller支持Nginx、Haproxy、GCE-L7，能够满足企业内部使用。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/ec9efe341a4938b7bf44a1a81a48a691.jpg"></p>    <p>在实际使用时，Ingress的架构如下图所示：</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/f0375ab88793355ece81aa87e4e55fc7.jpg"></p>    <p>但是在实际使用中，pod可能会产生漂移，由于Ingress Controller也是基于Pod部署，这样Ingress对外的IP会发生变化。在企业内部都会在防火墙上给Service的访问IP设定规则，而IP变动对这一机制是致命的，因为企业不可能经常手动修改防火墙规则。</p>    <p>那么我们就需要一个VIP功能，同时也要能保证Ingress的HA。我们可以考虑在Ingress Controller基础上增加一个keepalived，可以利用keepalived＋haproxy的机制来完成VIP的功能。要实现这一机制，可以参考并改动k8s社区中的contrib-keepalived-vip机制。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/bdbd908589c459e3f1f7f398b711aca6.jpg"></p>    <p>除了以上介绍的暴露服务机制，还有Hpcloud-service-loadbalancer ，它实现了支持keepalived+nginx、F5、OpenStack Lbaas这些方式，并且支持L4 & L7负载均衡，但是与k8s社区本身的发展机制并不兼容，所以一直没有被合并到社区中。另外还有 Contrib-service-loadbalancer ，这个是社区内部正在发展的，它的想法更远大，考虑会支持Cross-namespace、 Cross-cluster这种级别的负载均衡，同时也是设计了插件机制，目前支持Haproxy，同样也支持L4 & L7负载均衡。</p>    <h2>Rancher K8s中暴露服务访问</h2>    <p>Rancher自己实现了一个rancher-ingress-controller，它本质上是包装了k8s-ingress-controller，在真正创建负载均衡器上它会调用Rancher Cattle API来创建Rancher自身的LB。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/d1c2d271a164a712aa6bfc1b44b739a5.jpg"></p>    <p>相关代码也是开源的， <a href="/misc/goto?guid=4959733050337625259" rel="nofollow,noindex">https://github.com/rancher/lb-controller</a> ，lb-controller在启动时候会指定provider为rancher，对应的实现也可在package provider/rancher中看到。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/28e9ba4da721f8792a1d94b0af01080c.jpg"></p>    <p>创建Ingress后，也可在Rancher UI上展现出来。</p>    <p style="text-align: center;"><img src="https://simg.open-open.com/show/6e94b7151d8127a8403c735b3346fcfc.jpg"></p>    <p> </p>    <p> </p>    <p>来自：http://dockone.io/article/1973</p>    <p> </p>