本文是Zookeeper开发的入门手册，将会在一个最简单的例子入手，为读者逐渐深入地介绍Zookeeper上的应用开发。本文假定读者是一个Unix系统下的开发人员，有一定的应用编程经验，熟悉J2EE的应用开发。 请参考提供的对应DEMO包，对应下面的章节，一步一步对照开发。

Zookeeper作为Hadoop项目中的一个子项目，是 Hadoop集群管理的一个必不可少的模块，它主要用来控制 集群中的数据，如它管理Hadoop集群中的NameNode，还有 Hbase中Master Election、Server 之间状态同步等。<br> Zoopkeeper提供了一套很好的分布式集群管理的机制 ，就是它这种基于层次型的目录树的数据结构，并对树中 的节点进行有效管理，从而可以设计出多种多样的分布式 的数据管理模型。Zookeeper并不是用来专门存储数据， 它的作用主要是用来维护和监控你存储的数据的状态变化 。通过监控这些数据状态的变化，从而可以达到基于数据 的集群管理。

常见的Hadoop开发环境架构有以下三种：Eclipse与Hadoop集群在同一台Windows机器上。Eclipse与Hadoop集群在同一台Linux机器上。Eclipse在Windows上，Hadoop集群在远程Linux机器上。点评：第一种架构：必须安装cygwin，Hadoop对Windows的支持有限，在Windows上部署hadoop会出现相当多诡异的问题。第二种架构：Hadoop机器运行在Linux上完全没有问题，但是有大部分的开发者不习惯在Linux上做开发。

本文档所演示cloudstack版本为4.0.2。

Map/ReduceJob编写

SolrJob总的来说，与创建一般Job一样：都是：1.继承HadoopJob2.创建构造器3.覆写internalExecute()方法4.编Mapper类和Reduce类不同之处在于Mapper类V所代表的泛型必须实现SolrWritable接口，我们把它设定为NewsPageSolrWritable1.

Windows下使用Hadoop实例

第一次搞hadoop，折腾我2天，功夫不负有心人，终于搞好了，现在来分享下，我的环境操作系统：wmv虚拟机中的ubuntu12.04hadoop版本：hadoop-1.0.4(听说是稳定版就下了)eclipse版本：eclipse-jee-indigo-SR2-win321.先安装好jdk，然后配置好jdk的环境变量，在这里我就不累赘了！网上多的是2.安装ssh这个也不用说了

关于使用zookeeper建立分布式锁的探究背景zookeeper为hadnoop子项目。Zookeeper设计目的为解决分布式服务的协作问题。zookeeper的开发动机就是为了减轻分布式应用从头开发协作服务的负担。Zookeeper为按照google的churry算法实现。可以利用zookeeper，实现VM集群的数据一致性以及分布式锁的实现（注：这里的数据一致性，针对的是小数据量比如配置文件，内存全局数据等）。

MapReduce详解及Eclipse远程连接Hadoop开发MapReduce程序

hadoop搭建与eclipse开发环境设置。　――罗利辉前言1.1目标目的很简单，为进行研究与学习，部署一个hadoop运行环境，并搭建一个hadoop开发与测试环境。具体目标是：在ubuntu系统上部署hadoop在windows上能够使用eclipse连接ubuntu系统上部署的hadoop进行开发与测试1.2软硬件要求注意：Hadoop版本和Eclipse版本请严格按照要求。

Hadoop在ubuntu下安装配置手册准备工作：基本环境部署：操作系统安装：Ubuntu，版本为12.0.4，安装虚拟机。

Storm是什么、能做什么storm是一个开源的分布式实时计算系统，可以简单、可靠地处理大量的数据流。Storm有很多实用场景：如实时分析、在线机器学习、持续计算、分布式RPC、ETL等等。Storm支持水平扩展，具有高容错性，保证每个消息都会得到处理，而且处理速度很快（在一个小集群中，每个结点每秒可以处理数以百万计的消息）。Storm的部署和运维都很便捷，而且更为重要的是可以使用任意编程语言来开发应用。

基于SaaS模式的应用还是很丰富的，但是对企业管理软件这个领域来讲，无论是美国的Salesforce,还是国内的八百客，都是从CRM做起的。直至现在，基于SaaS模式的进销存，在技术架构上，都还是处于摸索阶段，甚至有人在我的Blog上留言，金蝶的友商网只是象征性的推出了用ASP.net技术编写的第一版，第二版要完全转向JAVA平台，从.NET平台转向JAVA平台，那就相当于把整个软件重新写了一遍。

MFS系统工作的原理图前言：现在有大量的企业采用共享存储服务器NFS的方式，来对应用数据进行网络存储，但这存在性能瓶颈和单点故障的问题，于是分布式文件存储管理系统开始流行起来。其优点是不言而喻的，本文为大家推荐了开源的分布式文件系统MFS，相信对大家有所帮助。随着公司业务量的增加,相关的业务数据也随着成倍的增加.相应的机器存储空间不足的问题就成为目前一个比较突出的问题,随之而来的备份亦成为一个很为头痛的问题。公司虽然有几台大容量的计算机可用来存放相关数据,但其位置位于各个机房,一时较难以组织,即使将其组织起来只能满足在一段时间内的存储需求,这个需要利用多台服务器上空闲空间加以组织利用,以提供更大的磁盘空间。

Wikipedia:云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。认识云计算对于用户而言是一种服务:按需购买互联网接入无需了解基础设施对于云提供商而言是大型集群:大量价格较低的服务器组成软件实现容错并行实现吞吐量云计算服务软件即服务(SaaS)

openstackEssex版的网络模型，虽然在Folsom版启动了Quantum，但并不成熟，如果是部署中没有用到网络高级特性，建议大家还是使用nova-network。1FlatFlat模式和FlatDHCP模式其实区别不大，都是基于网桥网络，只是FLat模式需要管理员手动配置（包括配置网桥和外部的DHCP设备）.

目录第三部分：软件平台服务（PaaS）第二部分：基础架构服务（IaaS）第一部分：云计算平台的服务运营第四部分：软件应用服务（SaaS）云服务平台的服务运营基础设施作为服务(IaaS)

亚马逊云计算介绍从卖图书到云计算AWS平台概览CAP理论EricA.Brewer，教授，加州大学伯克利分校（UCBerkeley）NoSQL的理论基础最终一致性（Eventually Consistency）最终一致性模型只要最终所有的数据副本一致牺牲一致性来提高可用性读写参数W,R,NN：系统中每条记录的副本数W：每次记录成功写操作需要写入的副本数R：每次记录读请求最少需要读取的副本数强一致性：满足R+W>N弱一致性：R+W<=N亚马逊的基础存储架构：Dynamo参考论文。

亚马逊云计算AWS（Amazon Web Service）电子工业出版社刘鹏主编《云计算》教材配套课件6概述Amazon的云从哪里来Amazon提供的云计算服务AWS的应用案例AWS的业务流程AWS的体系架构及关键技术Amazon的云从哪里来?一个简单的想法IaaS：将硬件设备等基础资源封装成服务供用户使用主要思想：虚拟优势：动态申请，资源无限Amazon提供的云计算服务弹性计算云EC2简单存储服务S3简单数据库服务SimpleDB简单队列服务SQS弹性MapReduce服务内容推送服务CloudFront电子商务服务DevPay灵活支付服务FPSAWS的应用案例——SmugMug为什么选择AWSSmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。