关于ZooKeeper更正式的介绍——ZooKeeper是一个为分布式应用程序提供高性能协调服务的工具集合。它可以应用在一些需要提供统一协调服务的case中，例如命名、配置管理、同步和组服务等。而在我们的case中，它被作为一个协调分布式环境中各子系统之间共享状态数据的基础设施。2． ZooKeeper之特性ZooKeeper本质上是一个分布式的小文件存储系统。原本是ApacheHadoop的一个组件，现在被拆分为一个Hadoop的独立子项目，在HBase（Hadoop的另外一个被拆分出来的子项目，用于分布式环境下的超大数据量的DBMS）中也用到了ZooKeeper集群。

Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

云计算在许多方面只是互联网的一个比喻词，亦即计算和数据资源 日益迁移到 Web 上的比喻词。不过，区别也是存在的：云计算代 表网络计算价值的一个新的临界点。它提供更高的效率、巨大的可 扩展性和更快、更容易的软件开发。其中心内容为新的编程模型、 新的 IT 基础设施以及实现新的商业模式。

Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。<br> Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。MapReduce是Google的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce的名字源于这个模型中的两项核心操作：Map和Reduce。Map是把一组数据一对一的映射为另外的一组数据，Reduce是对一组数据进行归约，映射和归约的规则都由一个函数指定。

JobClient.runJob(job)静态方法会实例化一个JobClient实例,然后用此实例的submitJob(job)方法向 master提交作业。此方法会返回一个RunningJob对象，它用来跟踪作业的状态。作业提交完毕后，JobClient会根据此对象开始轮询作业的进度，直到作业完成。 submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。 submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, job.split和job.xml。

MapR是MapR Technologies, Inc的一个产品，号称下一代Hadoop，使Hadoop变为一个速度更快、可靠性更高、更易于管理、使用更加方便的分布式计算服务和存储平台，同时性能也不断提高。它将极大的扩大了Hadoop的使用范围和方式。它包含了开源社区的许多流行的工具和功能，例如Hbase、Hive。它还100%和Apache Hadoop的API兼容。它能够为客户节约一半的硬件资源消耗，使更多的组织能够利用海量数据分析的力量提高竞争优势。

本文以虚拟机安装hadoop集群为例!!!安装过程

海量历史/实时数据管理平台管理的测点规模可以达到数百万、数千万甚至几亿（对于二级部署而言），而单个实时/历史数据库往往不能满足数据规模的需求，因此，我们采用将多个实时/历史数据库进行联合部署的方案从而实现所谓“群集数据库”。海量历史/实时数据管理平台使用群集数据库存储基于测点模型的历史/实时数据。群集数据库由若干个实时/历史数据库组成，对外提供统一的访问接口，同时能够实现测点位置对访问接口透明，即应用访问测点时无须关心测点具体存储在哪个数据库实体上，群集数据库是逻辑意义上的统一数据库。

云计算（Cloud Computing）是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。云其实是网络、互联网的一种比喻说法。云计算有狭义云计算和广义云计算两种概念：狭义云计算指IT基础设施的交付和使用模式，通过网络以按需、易扩展的方式获得所需资源。广义云计算指服务的交付和使用模式，通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT、软件、互联网相关，也可是其他服务。

主要内容实验平台简介Hadoop环境搭建MapReduce编程实验平台简介采用XenServer分布式部署Hadoop浪潮380D5台虚拟机（CentOS）采用VirtualBox分布式部署Hadoop PC5 台虚拟机（CentOS）采用XenServer分布式部署Hadoop采用VirtualBox分布式部署Hadoop Hadoop环境搭建Hadoop的三种部署模式Hadoop完全分布式部署HDFS节点故障演示Hadoop的三种部署模式。

HBase简介数据部：桂宇目录HBase简介HBase体系结构HBase数据模型HBase提供的接口HBase优化HBase用途HBase简介Hadoop生态系统成员名用途HadoopCommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。AvroAvro是dougcutting主持的RPC项目，有点类似Google的protobuf和Facebook的thrift。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数据结构更紧凑。

Dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，以及SOA服务治理方案。<br> 其核心部分包含: <br>远程通讯: 提供对多种基于长连接的NIO框架抽象封装，包括多种线程模型、 <br>序列化、以及“请求-响应”模式的信息交换方式。 集群容错: 提供基于接口方法的透明远过程调用，包括多协议支持、软负载均衡、失败容错、地址路由、动态配置等集群支持。<br> 自动发现: 基于注册中心目录服务，使服务消费方能动态的查找服务提供方，使地址透明，使服务提供方可以平滑增加或减少机器。

Eucalyptus项目的全称是Elastic Utility Computing Architecture for Linking your Program To Useful Systems。是一个用于实现云计算的开源软件基础设施。Eucalyptus是Amazon EC2的一个开源实现，他与EC2的商业服务接口兼容。它最初是美国加利福尼亚大学Santa Barbara计算机科学学院的一个研究项目，现在已经商业化，发展成为Eucalyptus Systems Inc。不过，Eucalyptus仍然按开源项目那样维护和开发。Eucalyptus System Inc主要基于开源的Eucalyptus构建额外的产品和提供支持服务。Eucalyptus很容易安装在现今大多数Linux发布版本上。

文对比分析了当前有代表性的云计算参与企业所采用的云计算实现方案和技术特点。总结云计算是一种能够提供动态资源池、虚拟化和高可用性的计算平台，包含两个方面的含义：底层的基础设施平台和构建在这个平台之上的应用程序。读者通过此文可以了解云计算的当前发展状况以及未来的研究趋势。文章通过集成整合Eucalyptus开源云计算平台系统和Liferay开源内容管理系统，剖析具有特定应用的云计算平台构建过程，并着重介绍了在基于虚拟技术的云计算平台中，如何使用XEN虚拟技术制作基于Linux系统的可定制服务的实例映像（Amazon Machine Image，AMI）文件，使用AMI工具运行制作的实例（虚拟服务器）和部署应用服务等技术要点，使读者能够明确掌握云计算平台的搭建过程及云计算实例应用的快速部署与迁移。

OpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。OpenStackCompute，为云组织的控制器，它提供一个工具来部署云，包括运行实例、管理网络以及控制用户和其他项目对云的访问。它底层的开源项目名称是Nova，其提供的软件能控制IaaS云计算平台。

主要内容Hadoop项目简介HDFS体系结构HDFS关键运行机制Hadoop VS.Google（分布式文件系统）Hadoop API Hadoop环境搭建Hadoop项目简介Apache的解决方案Google云计算MapReduce Big Table

本文基于环境hadoop-0.16.4 和 hbase-0.1.3 编写<br> Hbase是一个分散式开源数据库，基于Hadoop分散式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。<br> Hbaes的目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行资料，并且有数百万列元素组成的资料表。 <br> Hbase可以直接使用本地文件系统或者Hadoop作爲资料存储方式，不过爲了提高资料可靠性和系统的健壮性，发挥Hbase处理大资料量等功能，需要使用Hadoop作爲文件系统，那麽我们就先要了解Hadoop文件系统的基本特性和原理，才能更好地理解Hbase的工作方式。

使用SSH协议将namenode的公钥信息authorized_keys复制到所有DataNode的.ssh目录下(.ssh下最初没有authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。 root@hadoopName# scp authorized_keys 172.16.18.212:/root/.ssh/ 这样配置过后，namenode可以无密码登录所有datanode，可以通过命令 “ssh 172.16.19.42”来验证。有些手册上介绍的配置方法与此不一致，但是这种方法是成功的。很多手册到此步SSH配置就完成了，但是我实验时发现不能正常启动hadoop，所以我还继续做了配置。

1.模型介绍：Hadoop简介Map Reduce计算模型2.实例分析WordCount Hadoop简介Hadoop简介Hadoop是一个开源分布式计算平台，它实现了Map/Reduce计算模型。借助于Hadoop,程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。Hadoop简介分布式并行编程概念基于集群的分布式并行编程能够让软件与数据同时运行在连成一个网络的许多台计算机上,由此获得海量计算能力。Hadoop简介迎接编程方式的变革1.摩尔定律正在失效根据摩尔定律，约每隔18个月，CPU性能会提高一倍。然而，由于晶体管电路已经逐渐接近其物理上的性能极限，摩尔定律在2005年左右开始失效。2.分布式并行编程互联网时代的到来，将使软件编程方式发生重大变革，基于大规模计算机集群的分布式并行编程是将来软件性能提升的主要途径。

利用传统的桌面计算，你需要在自己所拥有的每台电脑上都运行一份软件程序。你所创建的文档存放在创建他们的电脑上。利用云计算，你所使用的软件程序并不是运行在你的个人电脑上，而是存放在能够通过因特网访问的服务器上。即使你的计算机崩溃了，该软件仍然可以供其他人使用。本论文介绍了云计算的定义，云计算的特点，云计算的几种服务与相应的应用，当前云计算的关键技术以及云计算带来的影响。