面对大量用户访问、高并发请求，海量数据，可以使用高性能的服务器、大型数据库，存储设备，高性能Web服务器，采用高效率的编程语言比如(Go,Scala)等，当单机容量达到极限时，我们需要考虑业务拆分和分布式部署，来解决大型网站访问量大，并发量高，海量数据的问题。

针对海量消息所要求的横向扩展性和系统的高可用性，ActiveMQ提供了网络连接模式的集群功能。简单的说，就是通过把多个不同的broker实例连接在一起，作为一个整体对外提供服务，从而提高整体对外的消息服务能力。通过这种方式连接在一起的broker实例之间，可以共享队列和消费者列表，从而达到分布式队列的目的。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中最像关系数据库的。支持类似于面向对象的查询语言，几乎可 以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。本文介绍了如何使用Docker搭建MongoDB集群。

Hadop是一种分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力高速运算和存储。

Topic是Kafka对消息的逻辑归类，也是消息存储的物理意义；而partition的存在，是为了避免磁盘没有做任何raid而进行逻辑到物理上的分区概念；Log是一个topic下某一个分区的消息的逻辑概念，它由多个Segment组成

WebSphere MQ 是WebSphere 家族的一种消息中间件产品。它为客户提供了安全，可靠，便捷的消息异步传输的平台。 本文主要介绍WebSphere MQ 群集的配置和验证方法。MQ群集为客户提供了灵活的扩展性。它可以根据用户的需要，随时增加或减少群集成员，而不会影响到整个群集的可用性。在某一个系统宕机或出现网络故障的情况下，位于群集中的其他成员可以无缝的接管该系统负责的业务，避免系统的单点故障。

集群有别于分布式的解决方案，它采用的是每台服务器运行相同应用的策略，由负责平衡的服务器进行分流，这对提高整个系统的并发量及吞吐量是更有效的办法。而集群对请求的处理又有两种不同的方式：负载平衡、状态复制(即集群)，状态复制需要在各服务器间复制应用状态，而负载平衡则不用，每台服务器都是独立的。实践证明，在各应用服务器之间不需要状态复制的情况下，负载平衡可以达到性能的线性增长及更高的并发需求。

LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打 任何补丁，可以直接使用LVS提供的各种功能。 使用LVS技术要达到的目标是：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。什么是keepalivedkeepalived是一个类似于layer3,4&5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。

CM--集群管理与负载均衡系统五竹,搜索与算法目录性能与应用2目录背景介绍Clustermap(CM)--集群管理与负载均衡系统起源于淘宝商品搜索引擎.主要解决如下问题:如何知道服务节点(searcher)是否可用如何选取一行服务节点，并能保持各行之间的负载均衡如何选取某一列的一个节点不停服务的情况下，增减机器Before背景介绍伴随着淘宝搜索业务的发展，CM面临越来越多的挑战：集群间的集群状态管理与负载均衡的要求越来越多，如SP需要知道其下面的所有服务的拓扑和存活状态.服务定位更复杂。

负载均衡基本概念1、什么是负载均衡?负载均衡技术在现有网络结构之上提供了一种廉价、有效、透明的方法，来扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。它有两方面的含义：首先，大量的并发访问或数据流量分担到多台节点设备上分别处理，减少用户等待响应的时间；其次，单个重负载的运算分担到多台节点设备上做并行处理，每个节点设备处理结束后，将结果汇总，返回给用户，系统处理能力得到大幅度提高。BIG/IP利用定义在其上面的虚拟IP地址来为用户的一个或多个应用服务器提供服务。

由于目前现有网络的各个核心部分随着业务量的提高，访问量和数据流量的快速增长，其处理能力和计算强度也相应地增大，使得单一的服务器设备根本无法承担。针对此情况而衍生出来的一种廉价有效透明的方法以扩展现有网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性的技术就是负载均衡（LoadBalance）。

Linux集群的研究及应用摘要：随着计算机技术的发展和越来越广泛的应用,人们对计算机的依赖程度也越来越高。计算机的可靠性和可用性也变得越来越重要了。尽管单台计算机的性能和可靠性越来越好,但还是有许多现实的要求是单台计算机难以达到的。计算机集群技术就是将多台计算机组织起来进行协同工作来模拟一台功能更强大的计算机的技术。本文首先对现有服务器集群系统的技术进行了分析,介绍了几个典型的集群系统,重点讨论了负载均衡集群（LVS）和高可用集群(HighAvailability)的工作原理和实现技术。然后根据现有的集群技术的缺点进行了改进，将负载均衡集群和高可用集群整合在一起，结合Linux软件RAID5技术实现了三层构架的WWW服务器集群，以较低的价格达到了昂贵的商业硬件存储解决方案所实现的效果。

随着你的网站业务量的增长你网站的服务器压力越来越大？需要负载均衡方案！商业的硬件如F5又太贵，你们又是创业型互联公司如何有效节约成本，节省不必要的浪费？同时实现商业硬件一样的高性能高可用的功能？有什么好的负载均衡可伸张可扩展的方案吗？答案是肯定的！有！我们利用LVS+Keepalived基于完整开源软件的架构可以为你提供一个负载均衡及高可用的服务器。

SDN控制器集群中的分布式技术实践

heartbeat:心跳功能,或者双机热备,双机双备,双机互备.如下图片,内网IP地址负责心跳检测环境:A主机器外网网卡192.168.1.56内网网卡

服务器集群技术简介FrankHe背景长期以来，科学计算、数据中心等领域一直是高端RISC服务器的天下，用户只能选择IBM、SGI、SUN、HP等公司的产品，不但价格昂贵，而且运行、维护成本高。随着Internet服务和电子商务的迅速发展，计算机系统的重要性日益上升，对服务器可伸缩性和高可用性的要求也变得越来越高。RISC系统高昂的代价和社会旺盛的需求形成强烈的反差。集群技术的出现和IA架构服务器的快速发展为社会的需求提供了新的选择。

Heartbeat 专案是 Linux-HA 工程的一个组成部分，也是目前开源HA项目中最成功的一个例子，Linux-HA的全称是High-Availability Linux，这个开源专案的目标是：通过社区开发者的共同努力，提供一个增强linux可靠性（reliability）、可用性（availability）和可服务性（serviceability）（RAS）的群集解决方案，它实现了一个高可用集群系统。心跳服务和集群通信是高可用集群的两个关键元件，在 Heartbeat 专案裡，由 heartbeat 模组实现了这两个功能。