主要内容1、HDFS2、MapReduce3、HBase为什么要提出云计算1、从一些趋势入手；2、并行计算现在存在的一些问题；云计算和其他技术的对比1、对比2、提出其演进的过程一些基本概念的介绍1、分布化2、hadoop流（基本概念以及其作用）3、hadoop管道（基本概念以及其作用）第二章hadoop分布式文件系统1、基本概念（什么是HDFS）2、优势是什么？3、同时需要改进的地方是什么？（有些是后面的HBase可以解决的）基本概念1、什么是流式数据？（可以联系多播来讲）2、数据块（采用抽象块，有什么好处呢？）

1. 是否写WAL日志，对于Hbase的批量入库性能有较大影响。是否采用需要多方面的权衡。<br> 2. 顺序访问时，所费时间是毫秒级。<br> 3. 很显然，并发数越少，访问所费时间越长。并发数为5时，所费时间不超过2秒。<br> 4. 用SingleColumnValueFilter等Filter方式进行过滤查询，效率低，海量数据下难以达到一般业务需求。测试1000万以上数据，查询一个号码（如：13621217968）的匹配，需要110122 milseconds+。

开始研究一下开源项目hadoop，因为根据本人和业界的一些分析，海量数据的分布式并行处理是趋势，咱不能太落后，虽然开始有点晚，呵呵。首先就是安装和一个入门的小实例的讲解，这个恐怕是我们搞软件开发的，最常见也最有效率地入门一个新鲜玩意的方式了，废话不多说开始吧。 件file01和file02:$ec

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。 Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

说明：本文档主要侧重hadoop和hbase在windows下的开发.在linux上开发自行修改即可.

一准备工作准备4台ubuntu操作系统的linux服务器，要求系统版本遗址Jdk1.6,hadoop0.20.2安装包,ssh为系统都统一创建一个名称相同的用户二搭建工作环境2.1安装jdk1.6(不做详细介绍)2.2实现ssh无密码验证1．终端输入ssh-keygen–trsa–P2.直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在“/home/hadoop/.ssh”目录下

主要内容应用背景Hadoop简介HDFS设计目标HDFS系统结构HDFS实现原理典型实例应用背景需求每天上TB的日志需要存储备份需从浩瀚的日志中挖掘和分析数据问题数据量太大，机器不多搞不定。配置好的服务器很贵，只能选择使用每TB成本低的机器。机器多了，“毛病”花样百出。

提纲基础知识Hadoop调度流程Hadoop自带调度器介绍编写自己的Hadoop调度器总结基础知识基础知识heartbeatTaskTracker周期性（默认为3s）调用RPC向JobTracker汇报信息，形成heartbeat汇报信息包括TaskTracker状态信息、Task运状况等Slot资源划分单位分为mapslot和reduceslot两种由参数。

司目录HDFS文件系统与HDFS窥探内部结构运行正常流程/非正常流程/发现异常MapReduce参与计算角色窥探JOB运行MR提供重写接口配置参数调优Hadoop组成HDFS文件系统HDFS什么是文件系统文件系统：操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。

一．Hadoop核心角色hadoop框架Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker组成。其中NameNode，secondaryNameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。 1，NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。

Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。<br> Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据通过管道传递给包装的用户程序处理，然后调用MapReduce Java接口将用户程序的输出切分成key/value对输出。

CentOS6.2下Hadoop全分布式集群配置文档集群网络环境介绍集群包含三个hadoop节点：1个namenode、2个datanode。节点之间局域网连接，可以互相ping通，并且配置了节点之间互相无密码ssh访问。节点IP地址如下：NameNode：192.168.15.102主机名：masterDataNode1：192.168.15.103主机名：slaver1DataNode2：192.168.15.105主机名：slaver2说明：105机器能ping通，但是ssh连接上去短暂的一段时间后自动断开，必须105用ssh访问其他网络之后，才能再次连接上。检查防火墙等各种原因之后未能解决。（望大家提供指导）三台机器系统均为CentOs6.2简体中文版。并且都新建了一个MDSS用户作为hadoop用户，其hadoop都安装在/home/MDSS/hadoop目录下。

IBM、Google、VMWare 和 Amazon 等公司已经开始提供云计算产品和战略。本文讲解如何使用 Apache Hadoop 构建一个 MapReduce 框架以建立 Hadoop 集群，以及如何创建在 Hadoop 上运行的示例 MapReduce 应用程序。还将讨论如何在云上设置耗费时间/磁盘的任务。

们每天都依赖搜索引擎以从 Internet 的海量数据中找到特定的内容，但您曾经想过这些搜索是如何执行的吗？一种方法是 Apache 的 Hadoop，它是一个能够对海量数据进行分布式处理的软件框架。Hadoop 的一个应用是并行索引 Internet Web 页面。Hadoop 是一个受到 Yahoo!、Google 和 IBM 等公司支持的 Apache 项目。本文将介绍 Hadoop 框架，并展示它为什么是最重要的基于 Linux 的分布式计算框架之一。

本文介绍了Hadoop架构的主要构成，通过一个实例详细阐述了Hadoop架构的MapReduce实现机制；开发了一个基于Hadoop架构职工工资统计应用实例，并根据该实例分析了其在单节点模式、伪分布模式和完全分布模式应用中的运行效率。

Hadoop 由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene 的子项目 Nutch 的一部分正式引入。它受到最先由 Google Lab 开发的 MapReduce 和 Google File System 的启发。2006 年 3 月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。<br> Hadoop并不仅仅是一个用于存储的分布式文件系统，而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的基础框架。它由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

：以下指南均在ubuntu下，如果你是win+cygywin模式，可能有差别（没研究不多说），仅供参考，如有误人之处还望指正。别看区区一个插件，还真是复杂，光是版本问题就捣鼓了好长时间，网上也没有成熟的案例都在讨论+询问，我这现在捣鼓明白了，跟大家分享一下

Mapreduce是一个简单易用的编程框架，基于Map-reduce写出的程序可以同时运行在由成千上万台计算机组成的计算集群上。就算您不懂得并行编程，不懂套接字，您一样可以控制多台计算机同时处理数据。 在Mapreduce OnlineEvaluation上，您可以选择题目，编写相应的mapreduce程序，体验云平台的编程环境并很方便地学习编写mapreduce程序。

Hadoop项目简介； HDFS体系结构； HDFS关键运行机制； Hadoop VS.Google（分布式文件系统）； Hadoop API； Hadoop环境搭建。