Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

vSphere是VMware推出的基于云计算的新一代数据中心虚拟化套件，提供了虚拟化基础架构、高可用性、集中管理、监控等一整套解决方案。VMware于2001年正式推出了企业级虚拟化产品ESX（Esx和Esxi都是vSphere的组件），到了现在，历经了六代演进。而整个架构功能经过不断扩展，也越来越充足了。 

云计算的市场前景云计算的现状云计算的技术、架构发展趋势

TFS淘宝实在gcc4.1编译下通过的，高版本会有问题，最好使用Centos5来安装确认依赖TCMalloc安装TCMalloc（）-root要安装TCMalloc库，需要安装libunwind（32位操作系统不需要安装）和google-perftools两个软件包，libunwind库为基于64位CPU和操作系统的程序提供了基本函数调用链和函数调用寄存器。

MFS设计构思这是对我这两三个月以来一直思索并努力尝试实现的分布式文件系统MFS的一个概述，无论你是否相信一个远方无名陌生人的能力，我都希望你能看一看它。MFS目录结构rootroot.dirfile-1dirdir.dirfile-2MFS中的目录借助于元数据文件(*.dir)虚拟存在每个目录都有自己的元数据文件元数据文件存储了对应目录的所有文件/子目录信息(名称)元数据文件和普通文件块一样分布存在于若干个节点中元数据文件的所有访问(读写)都应该是原子操作元数据文件不需要实时存储，定时刷入磁盘即可每个目录的子文件/目录数量理论上可无限存储，但若过多，则会导致元数据文件很大，降低性能。

此文档是用户使用Hadoop集群或普通单机分布式文件存储系统（HDFS）开展工作的起点，尽管HDFS被设计成适应于许多环境，有用的HDFS知识能大大帮助我们优化配置及诊断具体集群的问题。HDFS是Hadoop应用使用的主要分布式存储器，HDFS集群主要由管理文件系统元数据的NameNode（名称节点）和存储实际数据的DataNode（数据节点）组成。HDFS架构指南详细途述了HDFS。这个用户指南主要针对活动和管理的HDFS集群用户。HDFS架构图描述了NameNode、DataNode和客户端基本的相互作用。客户端通过NameNode取得文件的元数据和修改（状态或记录）然后实际执行I/O操作直接使用DataNode。

目录一IZPHadoop集群现状Hadoop应用Hadoop集群维护及出现的问题密级：一：IZPHadoop集群现状集群规模共大、小2个集群：数据中心和实验室集群数据中心:1台NameNode,1台SecondNameNode,1台JobTracker，100来台DataNode共100多台高配服务器;数据中心又分为10多个机架，每个机架上10多台服务器;实验室集群：共10几台普通微型机.机器配置名称节点和第二名称节点内存不小于90G，硬盘约1TBJobTracker内存不小于20G，硬盘约1TB数据节点内存不小于20G，硬盘不小于10TB槽位分配：每台机器十多个Map槽位，四至六个Reduce槽位密级。

MapReduce作业框架
注解：InputFormat：输入格式OutputFormat：输出格式Mapper：map阶段工作Reducer：reduce阶段工作2程序员需要实现的类和方法.

实时平台Twitter将Storm正式开源了，这是一个分布式的、容错的实时计算系统，它被托管在GitHub上，遵循EclipsePublicLicense1.0。Storm是由BackType开发的实时处理系统，BackType现在已在Twitter麾下。GitHub上的最新版本是Storm0.8.0，基本是用Clojure写的。Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。

支持在单一物理节点仿真和大规模云计算数据中心的实例化 提供虚拟化引擎以完成虚拟机服务的创建与管理 支持对数据中心网络拓扑与应用间消息传递的建模 实现了多个层面的资源分配与任务调度的策略，并支持用户自定义 支持虚拟机到主机的分配、虚拟机间资源共享策略的定义 支持节能的数据中心电力供应建模 支持仿真实体的动态加入、暂停与重启 通过数据中心代理组件实现了云计算的经济驱动模型 研究人员只需关注抽象层的算法、策略、协议的开发 可扩展的、开源的、随社区需求进化的框

　　作为公有云的代表，SaaS服务被众多的企业级用户所关注，但是，人们对于SaaS的疑问和顾虑制约了SaaS的发展。用户之所以产生顾虑，是因为目前SaaS并没有一个自身的标准，由于SaaS是一种在线的应用系统服务的提供，所以不同的应用会产生不同的标准。所以从某种意义上说，SaaS也很难产生一个通用的标准。 　　没有标准并不等同于SaaS不能被用户接受。我们可以从某些常见的应用中以点带面，看一看SaaS服务应该具有什么样的标准。

MapReduce作业框架
注解：InputFormat：输入格式OutputFormat：输出格式Mapper：map阶段工作Reducer：reduce阶段工作2程序员需要实现的类和方法2.1InputFormat接口程序员需要实现该接口以指定输入文件的内容格式publicinterfaceInputFormat{getSplits();//将输入数据分块，每一块交给一个maptask处理getRecordReader();//每一块每条记录解析成key/value对}默认的InputFormat是TextInputFormat，它将文件中的每一行作为value，该行的偏移量为key。

Centos6Hadoop1.2安装HelloWorld级Centos6Hadoop安装笔记单机版安装系统安装安装操作系统的时候，请分好区，尽量给一个空间大的地方使用Hadoop，例如将Hadoop安装在/opt目录下，就把/opt目录尽量分配大空间。安装SSHCentos系统安装时，选择安装SSH。

本节陈述了这样的事实：数据量越来越大，并且来源也越来越多，我们面临的问题是如何有效的存储和分析它们。DataStorageandAnalysis数据存储和分析现在面临这这样的一个问题：当磁盘的存储量随着时间的推移越来越大的时候，对磁盘上的数据的读取速度却没有多大的增长。读取硬盘上的全部数据会花费比较长的时间，如果是写操作的话则会更慢。一个解决的办法是同时读取多个硬盘上的数据。

Spanner 是Google的全球级的分布式数据库 (Globally-Distributed Database)。Spanner的扩展性达到了令人咋舌的全球级，可以扩展到数百万的机器，数已百计的数据中心，上万亿的行。更给力的是，除了夸张的扩展性之外，他还能同时通过同步复制和多版本来满足外部一致性，可用性也是很好的。冲破CAP的枷锁，在三者之间完美平衡。

　2006年谷歌推出了“Google101计划”，并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM等公司都宣布了自己的“云计划”，云安全、云存储、内部云、外部云、公共云、私有云……一堆让人眼花缭乱的概念在不断冲击人们的神经。那么到底什么是云计算技术呢？对云计算技术的产生、概念、原理、应用和前景又在哪里？　　一、云计算思想的产生　　传统模式下，企业建立一套IT系统不仅仅需要购买硬件等基础设施，还有买软件的许可证，需要专门的人员维护。

MFS分布式文件系统

VMware提供云基础架构及管理、云应用平台和终端用户计算等多个层次上的解决方案，主要支持企业级组织机构利用服务器虚拟化技术，实现从目前的数据中心向云计算环境转变 。 云基础架构及管理层由数据中心与云基础架构、安全产品、基础架构和运营管理三大部分组成。数据中心和基础架构是VMware云计算解决方案的基石

hadoop面试小结

Big table是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很 多项目使用Big table存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Big table提出的要求差异非常大，无论是在数据量上（从URL到网页到卫星图像）还是在响应速度上（从后端的批量处理到 实时数据服务）。尽管应用需求差异很大，但是，针对Google的这些产品，Big table还是成功的提供了一个灵活的、高性能的解决方案。本论文描述 了Big table提供的简单的数据模型，利用这个模型，用户可以动态的控制数据的分布和格式；我们还将描述Big table的设计和实现。