Yahoo！在06年雇佣Doug Cotting，希望通过支持Hadoop来提高其计算能力，以对抗Google的GFS。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS放宽了POSIX的要求，允许以流的形式访问文件系统中的数据, HDFS提供了很强的failover，互为备份和高可靠性的分布式文件系统。 HadOOP的使用者有Yahoo, Facebook和Amazon EC2, Amazon S3。我们看到hadoop的logo是个小象，可见项目组对这个项目将来的预期。

Hadoop介绍1.概括介绍2.框架介绍2.1HDFS2.2I/O操作2.3MapReduce概要介绍1.Hadoop就是一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。2.Hadoop是项目的总称，主要是由Hdfs、MapReduce组成。3.Hadoop就是一个类包，我们使用的一般是java写的类包，程序中导入该包就可以使用它封装的各种类来写Hadoop程序4.运行Hadoop程序目前只能在Linux系统上，window上运行需要安装其他插件，实习公司的Hadoop程序是在window下开发(编写程序)，在3台ubuntu系统上测试(测试程序正确性)。5.个人的观点：Hadoop中存在很多命令行，就像Linux中的命令行一样，所以一定要学好linux；Hadoop中存在上千个参数，运行特定的程序，要想取得很好的效果，正确的设置参数是一个很重要的方面。例如：参数dfs.block.size(Hdfs中block的大小)。

Hbase分析报告本文基于环境hadoop-0.16.4和hbase-0.1.3编写Hbase是一个分散式开源数据库，基于Hadoop分散式文件系统，模仿并提供了基于Google文件系统的Bigtable数据库的所有功能。Hbaes的目标是处理非常庞大的表，可以用普通的计算机处理超过10亿行资料，并且有数百万列元素组成的资料表。Hbase可以直接使用本地文件系统或者Hadoop作爲资料存储方式，不过爲了提高资料可靠性和系统的健壮性，发挥Hbase处理大资料量等功能，需要使用Hadoop作爲文件系统，那麽我们就先要了解Hadoop文件系统的基本特性和原理，才能更好地理解Hbase的工作方式。

云数据复制平台部署说明书中航信华东数据中心

什么是Hadoop?Hadoop是Apache下面的一个分布式并行计算框架，是从Lunece中抽取出来的一个框架。Hadoop的核心设计思想是MapReduce和HDFS,其中MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。前提和设计目标1.硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2.跑在HDFS上的应用与一般的应用不同，它们主要是以流式读为主，做批量处理；比之关注数据访问的低延迟问题，更关键的在于数据访问的高吞吐量。

MapReduce的原理Hadoop中的MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的式并行处理上T级别的数据集。一个MapReduce作业（job）通常会把输入的数据集切分为若干独立的数据块，由map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序，然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。

多租户的概念HDFS权限控制HDFS的多租户的设计多租户的概念多租户应用多个租户共享硬件资源，硬件资源提供一个共享的应用和数据库实例。每个租户认为自己独占资源，因为实例提供高度的定制以满足租户所需。租户是指求租SaaS解决方案的企业实体。一个租户一般会有多个用户。一个旅馆的例子1个旅馆，出租给多个人换个角度，多个人共租用了1旅馆的空间（资源），旅馆正在面对“多租户”。

Hadoop1.0.0学习笔记。安装JDK,配置环境JAVA环境变量

hbase分页查询实现Hbase本身是没有分页查询的，我在网上找了很多资料来实现一个分页功能，在这里做了一下记录，分享给大家，有什么不足之处，请尽管指出。废话不多说，看代码。

Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene的子项目 Nutch 的一部分正式引入。它受到最先由 Google 开发的MapReduce 和GoogleFileSystem的启发，2006年3月份，MapReduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具，但它也可以解决许多要求极大伸缩性的问题。在Hadoop中实现了Google的MapReduce算法，它能够把应用程序分割成许多很小的工作单元，每个单元可以在任何集群节点上执行或重复执行。此外，Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据，并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统，使得Hadoop框架具有高容错性，它会自动处理失败节点。

Hadoop源代码分析（MapReduce概论） - 大家都熟悉文件系统，在对HDFS进行分析前，我们并没有花很多的时间去介绍HDFS的背景，毕竟大家对文件系统的还是有一定的理解的，而且也有很好的文档。在分析Hadoop的MapReduce部分前，我们还是先了解系统是如何工作的，然后再进入我们的分析部分。

一、安装sun的jdk和hadoop，不要使用open-jdk本人安装的jdk1.7.0.rpm包（默认安装路劲为/usr/java/jdk1.7.0）解压hadoop-0.20.2到：/home/hadoop/。

Cloud Foundry的特点。Github上开放源码，并鼓励社区贡献和check-in 目前所有核心模块都已经开源开放的开发平台和流程，VMware R&D与社区开发者采用相同的代码审核和签入流程；Apache 2开源许可协议 ；支持多种语言、框架、服务和底层IaaS基础平台 ；应用和服务的自动化配置。

通过本节的学习，可以掌握如何在单节点上使用Hadoop进行Map/Reduce以及HDFS存储的实现。

　Apache Hadoop是一个软件框架，它可以分布式地操纵大量数据。它于2006年首次提及，由 Google、Yahoo! 和 IBM 等公司支持。可以认为它是一种PaaS模型。<br> 　　它的设计核心是MapReduce实现和 HDFS (Hadoop Distributed File System)，它们源自MapReduce(由一份 Google 文件引入)和 Google File System。<br> 　　MapReduce是 Google 引入的一个软件框架，它支持在计算机(即节点)集群上对大型数据集进行分布式计算。它由两个过程组成，映射(Map)和缩减(Reduce)。<br> 　　在映射过程中，主节点接收输入，把输入分割为更小的子任务，然后把这些子任务分布到工作者节点。

Apache的Hadoop是一个商业硬件上运行的建造大型集群应用的框架。透明的Hadoop框架提供应用可靠性和大容量数据的解决方案。Hadoop的计算模式实现了一个名为Map/ Reduce的思想，如请求的任务是许多小碎片的工作，每一个工作可能在集群中的任一节点被执行。此外，它提供了一个分布式文件系统（HDFS），存储在具有高带宽的集群计算节点上。Map/Reduce和HDFS的良好设计使得这个框架足以自动应付节点的故障。

Hive是什么Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为QL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。Hive没有专门的数据格式。Hive可以很好的工作在Thrift之上，控制分隔符，也允许用户指定数据格式。Hive的下载配置安装安装配置Hadoop。

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。<br> Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

一、背景为了方便Mapreduce直接访问关系型数据库（Mysql，Oracle），Hadoop提供了DBInputFormat和DBOutputFOrmat两个类。通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把Mapreduce产生的结果集导入到数据库表。

　云计算层次架构如图所示。其中云基础设施即服务(IaaS)、云平台即服务(PaaS)、云软件即服务(SaaS)是云计算的三种服务模式。 　　硬件设备位于云计算架构的底层，是云计算平台的基础。由于数据中心常会同时采购不同厂家的多种设备，且新老设备共存，所以该领域的显著特点就是会存在大量异构的设备资源。