移动云计算

我们要做的是完成在Windows下远程调用Hadoop服务器集群，不过还是觉得Linux下更好用一些。 首先从hadoop-0.20.0的开发包中拷贝hadoop-0.20.0-eclipse-plugin.jar到Eclipse的plugins目录下面，重启Eclipse，就会发现视图里面多了一个Map/Reduce选项

主要内容1、HDFS2、MapReduce3、HBase为什么要提出云计算1、从一些趋势入手；2、并行计算现在存在的一些问题；云计算和其他技术的对比1、对比2、提出其演进的过程一些基本概念的介绍1、分布化2、hadoop流（基本概念以及其作用）3、hadoop管道（基本概念以及其作用）第二章hadoop分布式文件系统1、基本概念（什么是HDFS）2、优势是什么？3、同时需要改进的地方是什么？（有些是后面的HBase可以解决的）基本概念1、什么是流式数据？（可以联系多播来讲）2、数据块（采用抽象块，有什么好处呢？）

1. 是否写WAL日志，对于Hbase的批量入库性能有较大影响。是否采用需要多方面的权衡。<br> 2. 顺序访问时，所费时间是毫秒级。<br> 3. 很显然，并发数越少，访问所费时间越长。并发数为5时，所费时间不超过2秒。<br> 4. 用SingleColumnValueFilter等Filter方式进行过滤查询，效率低，海量数据下难以达到一般业务需求。测试1000万以上数据，查询一个号码（如：13621217968）的匹配，需要110122 milseconds+。

开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 件file01和file02:$ec

OpenStack是一套用来管理虚拟机的平台软件。它不是一个单一的软件，而是集成了很多个组件用来协同合作。简单的来说，譬如有十台服务器，在VMware的情况下，我们在每台服务器上安装esx或者esxi，然后装一台vcenter，在vcenter的管理界面里把十台服务器的esx通过域名或者ip加入，就能在vcenter里面统一管理。类似的，红帽也有virsh这种管理虚拟机的程序

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

说明：本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可.

一准备工作准备4台ubuntu操作系统的linux服务器，要求系统版本遗址Jdk1.6,hadoop0.20.2安装包,ssh为系统都统一创建一个名称相同的用户二搭建工作环境2.1安装jdk1.6(不做详细介绍)2.2实现ssh无密码验证1．终端输入ssh-keygen–trsa–P2.直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在“/home/hadoop/.ssh”目录下

ZooKeeper系列之一：ZooKeeper简介ZooKeeper是一个为分布式应用所设计的分布的、开源的协调服务。分布式的应用可以建立在同步、配置管理、分组和命名等服务的更高级别的实现的基础之上。ZooKeeper意欲设计一个易于编程的环境，它的文件系统使用我们所熟悉的目录树结构。ZooKeeper使用Java所编写，但是支持Java和C两种编程语言。   众所周知，协调服务非常容易出错，但是却很难恢复正常，例如，协调服务很容易处于竞态以至于出现死锁。我们设计ZooKeeper的目的是为了减轻分布式应用程序所承担的协调任务。ZooKeeper系列之二：ZooKeeper数据模型、命名空间以及节点的概念ZooKeeper数据模型和层次命名空间提供的命名空间与标准的文件系统非常相似。一个名称是由通过斜线分隔开的路径名序列所组成的。ZooKeeper中的每一个节点是都通过路径来识别。

主要内容应用背景Hadoop简介HDFS设计目标HDFS系统结构HDFS实现原理典型实例应用背景需求每天上TB的日志需要存储备份需从浩瀚的日志中挖掘和分析数据问题数据量太大，机器不多搞不定。配置好的服务器很贵，只能选择使用每TB成本低的机器。机器多了，“毛病”花样百出。

目的WAP门户云计算平台的目的就是为了解决海量数据的存储，检索和统计分析。范围无线音乐俱乐部WAP门户日志系统。术语云计算：是一种动态的易扩展的且通常是通过互联网提供虚拟化的资源计算方式，用户不需要了解云内部的细节，也不必具有云内部的专业知识，或直接控制基础设施。MapReduce：是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

 云计算：是一种动态的易扩展的且通常是通过互联网提供虚拟化的资源计算方式， 用户不需要了解云内部的细节，也不必具有云内部的专业知识，或直接控制基础设施。  MapReduce：是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（化简）"，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。  hadoop：Hadoop是Apache软件基金会所研发的开放源码并行运算编程工具和分布式文件系统，与MapReduce和Google档案系统的概念类似。  HDFS（Hadoop Distributed File System）：是hadoop的分布式文件系统。  NameNode：hadoop的元数据管理节点，上面保存了数据节点的元数据信息。  Secondary NameNode：hadoop的元数据管理节点备份，作为NameNode的备份。  DataNode：hadoop的数据节点，用来做数据存储，存储的最小单位是一个块。  JobTracker：JobTracker的职责是分配计算任务，一般一个集群只需要一个。  TaskTracker：TaskTracker的职责是创建计算任务，一般每台DataNode都有一个TaskTracker进程。

议题1关于云计算的热议3运营商在云计算上的实践和思考2云计算的基本概念与应用云计算：是一个大泡沫？“云计算对中小企业非常重要”“在中国，99%都是中小企业，云计算对中小企业是非常重要的，因为一般的中小企业要投入IT，门槛比较高，但是用了云计算的技术就可以把门槛降低，让他们可以利用IT技术跟一些比较大的公司竞争。对于中国来讲，以后经济发展是非常重要的，也是很符合中国十二五计划里边的发展。

MapReduce 的原理。Hadoop中的MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的式并行处理上T级别的数据集。一个MapReduce作业（job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

zookeeper简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。目前zookeeper被应用于hadoop/hbase中进行节点的管理，通过zookeeper你可以很方便的开发出一些分布式控制的工具，比如分布式lock,barrier,countDown,Semaphore等，甚至有人使用zookeeper开发了一个分布式Collections.zookeeper客户端我们构建分布式logserver系统，主要使用zookeeper的目录服务，zookeeper本身有api可供我们来使用zookeeper的一些特性，但是zookeeper的api接口太生硬了，不方便使用，但这么强大的zookeeper肯定有很多公司在使用，他们一定会发现现有api的问题，肯定会出不少优秀的api，于是我们找到了Curator，Curator是Netflix开源的一套ZooKeeper客户端框架.

支持包括一个运行环境，通过它您的应用程序可以在 Cloud Foundry 上执行，以及运行可以检测框架并自动配置和部署到 Cloud Foundry 的部署工具（vmc 和 STS）。您可能不需要做任何特殊操作就可以部署到 Cloud Foundry。如果应用程序需要数据库等服务，而且您遵循框架的惯例，vmc 或 STS 在部署应用程序时可以处理需要的配置变化。但也有些情况，您的应用程序将需要最小配置，特别是在需要多个服务时。

　最近几年，最受关注的方法之一是Apache Hadoop。这是一个开源软件框架，支持上千个节点和PB级数据的数据密集型分布式分析。它的底层技术源于谷歌内部开发者发明的搜索引擎。他们使用它查找有用的索引数据及其他“富”信息，然后将结果通过各种方法返回给用户。他们将这种技术称为MapReduce - 而现在的Hadoop是一个开源版本，可供数据架构师用于实现计算密集型深度分析。

提纲基础知识Hadoop调度流程Hadoop自带调度器介绍编写自己的Hadoop调度器总结基础知识基础知识heartbeatTaskTracker周期性（默认为3s）调用RPC向JobTracker汇报信息，形成heartbeat汇报信息包括TaskTracker状态信息、Task运状况等Slot资源划分单位分为mapslot和reduceslot两种由参数。