Hadoop介绍1.概括介绍2.框架介绍2.1HDFS2.2I/O操作2.3MapReduce概要介绍1.Hadoop就是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。2.Hadoop是项目的总称，主要是由Hdfs、MapReduce组成。3.Hadoop就是一个类包，我们使用的一般是java写的类包，程序中导入该包就可以使用它封装的各种类来写Hadoop程序4.运行Hadoop程序目前只能在Linux系统上，window上运行需要安装其他插件，实习公司的Hadoop程序是在window下开发(编写程序)，在3台ubuntu系统上测试(测试程序正确性)。5.个人的观点：Hadoop中存在很多命令行，就像Linux中的命令行一样，所以一定要学好linux；Hadoop中存在上千个参数，运行特定的程序，要想取得很好的效果，正确的设置参数是一个很重要的方面。例如：参数dfs.block.size(Hdfs中block的大小)。

什么是Hadoop?Hadoop是Apache下面的一个分布式并行计算框架，是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS,其中MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。前提和设计目标1.硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2.跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。

Hadoop1.0.0学习笔记。安装JDK,配置环境JAVA环境变量

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene的子项目 Nutch 的一部分正式引入。它受到最先由 Google 开发的MapReduce 和GoogleFileSystem的启发，2006年3月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。在Hadoop中实现了Google的MapReduce算法，它能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据，并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统，使得Hadoop框架具有高容错性，它会自动处理失败节点。

Hadoop源代码分析（MapReduce概论） - 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

一、安装sun的jdk和hadoop，不要使用open-jdk本人安装的jdk1.7.0.rpm包（默认安装路劲为/usr/java/jdk1.7.0）解压hadoop-0.20.2到：/home/hadoop/。

通过本节的学习，可以掌握如何在单节点上使用Hadoop进行Map/Reduce以及HDFS存储的实现。

　Apache Hadoop是一个软件框架，它可以分布式地操纵大量数据。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种PaaS模型。<br> 　　它的设计核心是MapReduce实现和 HDFS (Hadoop Distributed File System)，它们源自MapReduce(由一份 Google 文件引入)和 Google File System。<br> 　　MapReduce是 Google 引入的一个软件框架，它支持在计算机(即节点)集群上对大型数据集进行分布式计算。它由两个过程组成，映射(Map)和缩减(Reduce)。<br> 　　在映射过程中，主节点接收输入，把输入分割为更小的子任务，然后把这些子任务分布到工作者节点。

Apache的Hadoop是一个商业硬件上运行的建造大型集群应用的框架。透明的Hadoop框架提供应用可靠性和大容量数据的解决方案。Hadoop的计算模式实现了一个名为Map/ Reduce的思想，如请求的任务是许多小碎片的工作，每一个工作可能在集群中的任一节点被执行。此外，它提供了一个分布式文件系统（HDFS），存储在具有高带宽的集群计算节点上。Map/Reduce和HDFS的良好设计使得这个框架足以自动应付节点的故障。

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。<br> Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

一、背景为了方便Mapreduce直接访问关系型数据库（Mysql，Oracle），Hadoop提供了DBInputFormat和DBOutputFOrmat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把Mapreduce产生的结果集导入到数据库表。

Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。

Hadoop作为Apache基金会资助的开源项目，由Doug Cutting带领的团队进行开发，基于Lucene和Nutch等开源项目，实现了Google的GFS和Hadoop能够稳定运行在20个节点的集群；2006年1月，Doug Cutting加入雅虎公司，同年2月Apache Hadoop项目正式支持HDFS和MapReduce的独立开发。同时，新兴公司Cloudera为Hadoop提供了商业支持，帮助企业实现标准化安装，并志愿贡献社区。Hadoop的最新版本是0.21.0，说明其还在不断完善发展之中。<br> Hadoop由分布式存储HDFS和分布式计算MapReduce两部分组成。HDFS是一个master/slave的结构，就通常的部署来说，在master上只运行一个Namenode，而在每一个slave上运行一个Datanode。MapReduce是Google的一项重要技术，它是一个编程模型，用以进行大数据量的计算。MapReduce的名字源于这个模型中的两项核心操作：Map和Reduce。Map是把一组数据一对一的映射为另外的一组数据，Reduce是对一组数据进行归约，映射和归约的规则都由一个函数指定。

JobClient.runJob(job)静态方法会实例化一个JobClient实例,然后用此实例的submitJob(job)方法向 master提交作业。此方法会返回一个RunningJob对象，它用来跟踪作业的状态。作业提交完毕后，JobClient会根据此对象开始轮询作业的进度，直到作业完成。 submitJob(job)内部是通过submitJobInternal(job)方法完成实质性的作业提交。 submitJobInternal(job)方法首先会向hadoop分布系统文件系统hdfs依次上传三个文件: job.jar, job.split和job.xml。

本文以虚拟机安装hadoop集群为例!!!安装过程

主要内容实验平台简介Hadoop环境搭建MapReduce编程实验平台简介采用XenServer分布式部署Hadoop浪潮380D5台虚拟机（CentOS）采用VirtualBox分布式部署Hadoop PC5 台虚拟机（CentOS）采用XenServer分布式部署Hadoop采用VirtualBox分布式部署Hadoop Hadoop环境搭建Hadoop的三种部署模式Hadoop完全分布式部署HDFS节点故障演示Hadoop的三种部署模式。

主要内容Hadoop项目简介HDFS体系结构HDFS关键运行机制Hadoop VS.Google（分布式文件系统）Hadoop API Hadoop环境搭建Hadoop项目简介Apache的解决方案Google云计算MapReduce Big Table

使用SSH协议将namenode的公钥信息authorized_keys复制到所有DataNode的.ssh目录下(.ssh下最初没有authorized_keys，如果有，则需要复制追加，后面会讲到如何追加)。 root@hadoopName# scp authorized_keys 172.16.18.212:/root/.ssh/ 这样配置过后，namenode可以无密码登录所有datanode，可以通过命令 “ssh 172.16.19.42”来验证。有些手册上介绍的配置方法与此不一致，但是这种方法是成功的。很多手册到此步SSH配置就完成了，但是我实验时发现不能正常启动hadoop，所以我还继续做了配置。

1.模型介绍：Hadoop简介Map Reduce计算模型2.实例分析WordCount Hadoop简介Hadoop简介Hadoop是一个开源分布式计算平台，它实现了Map/Reduce计算模型。借助于Hadoop,程序员可以轻松地编写分布式并行程序，将其运行于计算机集群上，完成海量数据的计算。Hadoop简介分布式并行编程概念基于集群的分布式并行编程能够让软件与数据同时运行在连成一个网络的许多台计算机上,由此获得海量计算能力。Hadoop简介迎接编程方式的变革1.摩尔定律正在失效根据摩尔定律，约每隔18个月，CPU性能会提高一倍。然而，由于晶体管电路已经逐渐接近其物理上的性能极限，摩尔定律在2005年左右开始失效。2.分布式并行编程互联网时代的到来，将使软件编程方式发生重大变革，基于大规模计算机集群的分布式并行编程是将来软件性能提升的主要途径。

我们要做的是完成在Windows下远程调用Hadoop服务器集群，不过还是觉得Linux下更好用一些。 首先从hadoop-0.20.0的开发包中拷贝hadoop-0.20.0-eclipse-plugin.jar到Eclipse的plugins目录下面，重启Eclipse，就会发现视图里面多了一个Map/Reduce选项