司目录HDFS文件系统与HDFS窥探内部结构运行正常流程/非正常流程/发现异常MapReduce参与计算角色窥探JOB运行MR提供重写接口配置参数调优Hadoop组成HDFS文件系统HDFS什么是文件系统文件系统：操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。

云计算平台的技术架构结构图：技术架构具体组成数据存储技术（Google file system简称GFS）数据管理技术（BigTable）编程模型（Map-Reduce）数据存储技术（GFS）网页搜索业务需要海量的数据存储，同时还需要满足高可用性、高可靠性和经济性等要求。为此，Google基于以下几个假设开发了分布式文件系统 - GFS(google file system)。

VMWARE虚拟化项目安装部署及管理文档.本项目首先利用VMware vSphere 5 来部署云计算平台基础设施，然后再利用VMware View 5 在云计算平台基础设施上部署云桌面应用，实现集中、自动化的桌面管理，通过一台终端实现对数百个虚拟桌面的可扩展管理。云计算基础设施平台部署的主要作用是提供基础的云计算应用开发平台，虚拟桌面的主要作用是通过虚拟化管理中心控制台（vCenter Server）快速部署一个或几个源虚拟机 VM（父克隆模板），在此虚拟机模板上安装相应的操作系统，工具软件和杀毒软件，通过父克隆模板虚拟机进行快照，然后通过虚拟机快照(SNAP)产生多个虚拟桌面系统(VMD)，每个虚拟桌面对应一个客户端。客户端通过瘦客户机或者 PC直接登录虚拟桌面就可以像使用本地的 PC 机桌面一样使用虚拟机资源。当管理员需要维护这几百个虚拟桌面系统时，只需要对一个或几个父克隆模板进行维护，对应父克隆模板快照的几个或几百个虚拟桌面就会自动更新。系统管理员也可以使用虚拟桌面管理器（VDM）实现对个别用户的虚拟桌面系统进行磁盘空间动态增加或缩小，USB 接口的管理等。

一．Hadoop核心角色hadoop框架Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondaryNameNode，JobTracker，TaskTracker组成。其中NameNode，secondaryNameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。 1，NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。

JMS（Java Message Service）即消息服务。由sun公司提出，定义java程序访问企业消息传递系统的接口，是J2EE平台上实现面向消息的中间件的规范。一条消息可以是一个请求，一个报告，也可以（或者）是一个事件，这种事件中包含了用来在不同应用程序间协调通信所需的信息。消息提供了一个抽象级别，使你能从应用程序代码中分离出目的系统的详细资料。通过点对点的消息传递模型，一个应用程序可以向另一个应用程序发送消息。PTP 消息传递应用程序使用命名队列接发消息。队列发送方（生成器）向特定队列发送消息。队列接收方（使用者）从特定队列接收消息。

Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。因此可以说对于hadoop的扩展性意义重大，今天简单说一下。<br> Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程序，将数据通过管道传递给包装的用户程序处理，然后调用MapReduce Java接口将用户程序的输出切分成key/value对输出。

这里假设你对CORBA毫无所知。对JAVA略有所知，因为这里使用JAVA作为程序设计语言。学习了本书，你将对CORBA有个初步了解，并能编写一个简单完整的CORBA应用程序。CORBA简介CORBA（Common Object Request Broker Architecture）是为了实现分布式计算而引入的。为了说明CORBA在分布计算上有何特点，我们从它与其它几种分布计算技术的比较中进行说明。与过去的面向过程的RPC(RemoteProcedureCall)不同，CORBA是基于面向对象技术的，它能解决远程对象之间的互操作问题。

云计算不是专指一门技术，云计算是技术趋势的代名词。 计算机技术的发展经历了由合到分，再由分到合的阶段。 第1阶段：在计算机发展的初期，由于技术发展的限制，计算设备都非常的庞大，计算机一般都集中在机房使用。技术的局限使早期的计算技术走的是集中计算的道路。

CentOS6.2下Hadoop全分布式集群配置文档集群网络环境介绍集群包含三个hadoop节点：1个namenode、2个datanode。节点之间局域网连接，可以互相ping通，并且配置了节点之间互相无密码ssh访问。节点IP地址如下：NameNode：192.168.15.102主机名：masterDataNode1：192.168.15.103主机名：slaver1DataNode2：192.168.15.105主机名：slaver2说明：105机器能ping通，但是ssh连接上去短暂的一段时间后自动断开，必须105用ssh访问其他网络之后，才能再次连接上。检查防火墙等各种原因之后未能解决。（望大家提供指导）三台机器系统均为CentOs6.2简体中文版。并且都新建了一个MDSS用户作为hadoop用户，其hadoop都安装在/home/MDSS/hadoop目录下。

云计算服务的研究CompanyLogo云服务的兴起云计算是信息技术（IT）行业的最新的发展潮流。云计算曾被描述为由若干新型现有技术带来一场技术变革（Skilton2010）。不管云计算是否是“接下来的一大事件”，它都受到了极大关注。大量的云服务也已将出现。这些服务是通过它自己的服务网站入口来提供，然后根据“按使用支付”（payperuse）的定价机制来向客户收取费用。然而，就如Buyya等人(2009)和Zhang等人(2010)提醒的那样，我们应该牢记的是，云计算才刚刚兴起，许多系统仍然处在概念验证阶段。IDC最近也报告说，将近60%的欧洲首席信息官员已采用云服务，即使他们不是很了解它（Cooter2010）。

2006年谷歌推出了“Google 101计划”，并正式提出“云”的概念和理论。随后亚马逊、微软、惠普、雅虎、英特尔、IBM等公司都宣布了自己的“云计划”，云安全、云存储、内部云、外部云、公共云、私有云……一堆让人眼花缭乱的概念在不断冲击人们的神经。那么到底什么是云计算技术呢？对云计算技术的产生、概念、原理、应用和前景又在哪里？

Fastdfs简介 — 国人在mogileFS基础上进行改进的key-value型文件系统，不支持FUSE,提供比mogileFS更好的性能 — 轻量级（移植性比较强，资源依赖性小？）的开源分布式文件系统

FastDHT简介分布式hash系统，存储Key Value Pair支持两种存储方式缓存方式的MPOOL持久存储方式的BDBKey包括三部分：Namespace ObjectID Key Key可设置过期时间，自动清除过期数据Server端划分group，同group数据互相备份，并且可自动压缩binlog服务端可使用单线程，多线程模式FastDHT一些特性虚拟farm，便于扩容分布式算法client端实现，不需要中心服务器二进制通信协议，支持Proxy使用libevent，异步IO方式，支持大并发自动failover支持长连接FastDHT通信协议

FastDFS部署方案文件上传和删除等操作：使用FastDFSclientAPI，目前提供了C、PHPextension和Java的clientAPI文件下载采用HTTP方式：使用nginx或者apache扩展模块，不推荐使用FastDFS内置的webserver不要做RAID，直接挂载单盘，每个硬盘作为一个mountpoint最大并发连接数设置参数名：max_connections缺省值：256说明：FastDFS采用预先分配好buffer队列的做法，分配的内存大小为：max_connections*buff_size，因此配置的连接数越大，消耗的内存越多。

什么是合并存储合并存储是指将多个小文件存储到一个较大的文件（trunkfile）中，这个trunkfile的文件大小是固定的，比如64MB。小于一定size的文件才合并存储到trunkfile中，否则在文件系统创建一个独立的文件来存储合并存储解决的问题海量小文件带来的挑战：—文件系统inode面临不够的风险—文件系统定位文件的效率急剧下降合并存储可以有效地解决上面的两个问题，解决海量小文件的存储和访问问题。小文件合并存储是业界普遍采用的做法。

一、概述S4（Simple Scalable Streaming System）最初是Yahoo!为提高搜索广告有效点击率的问题而开发的一个平台，通过统计分析用户对广告的点击率，排除相关度低的广告，提升点击率。目前该项目刚启动不久，所以也可以理解为是他们提出的一个分布式流计算（Distributed Stream Computing）的模型。S4的设计目标是：·提供一种简单的编程接口来处理数据流·设计一个可以在普通硬件之上可扩展的高可用集群。·通过在每个处理节点使用本地内存，避免磁盘I/O瓶颈达到最小化延迟·使用一个去中心的，对等架构；所有节点提供相同的功能和职责。没有担负特殊责任的中心节点。这大大简化了部署和维护。

Yahoo!S4分布式流处理引擎分析总结S4(Simple Scalable StreamingSystem)是一个分布式流处理引擎，开发者可以在这个引擎基础上开发面向无界的，不间断的流数据处理应用。什么是流数据处理应用？例如，为了个性化搜索广告，系统需要实时处理来自几百万唯一用户每秒成千上万次的查询，并即时分析用户的会话特征来提高广告相关性预测模型的准确度。流数据处理应用要求我们的系统可以接受大量的，不间断的数据（称为流式数据），并可以迅速做出数据处理，S4正是完成这样一个需求。

经典分布式文件系统介绍目录分布式文件系统概念和原理经典分布式文件系统介绍经典分布式文件系统比较文件系统的定义文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象，向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。文件系统分类根据计算环境和所提供功能的不同，文件系统可划分为四个层次，从低到高依次是：单处理器单用户的本地文件系统如DOS的文件系统；多处理器单用户的本地文件系统如OS/2的文件系统；

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。 

IBM、Google、VMWare 和 Amazon 等公司已经开始提供云计算产品和战略。本文讲解如何使用 Apache Hadoop 构建一个 MapReduce 框架以建立 Hadoop 集群，以及如何创建在 Hadoop 上运行的示例 MapReduce 应用程序。还将讨论如何在云上设置耗费时间/磁盘的任务。