浅谈云计算云计算总体架构IDC云虚拟桌面业务数据挖掘云端游戏网盘业务云端搜索呼叫中心云服务云端在线视频M2M云服务IPTV云服务业务应用层协同办公云统一通信云PaaS能力聚合与开放物联网能力

引言《纽约时报》租用亚马逊的云计算服务，使用基于云计算的开源软件Hadoop，将其自1851年以来的1100万份报道转变成可搜索的数字化文档，耗时仅一天。如果用传统方法，这项工作可能要数月才能完成。最近兴起的云计算甚至可以让你体验每秒10万亿次的运算能力，拥有这么强大的计算能力可以模拟核爆炸、预测气候变化和市场发展趋势。云计算——方便您的生活数据中心（多终端同步-透明）PC/笔记本客户端浏览器PDA/手机/相机电子相册电视运算中心拍出的相片立即编辑修改在线编写文档、报告随时随地写日志随时随地的身体健康状况监控云计算云——提供超大规模计算资源的服务器集群超大规模虚拟化（透明）云云计算的产生和演进计算能力的需求的增长并行计算、分布式计算和网格计算

云计算臧斌宇复旦大学何谓云计算？一种基于Internet网的计算服务模型云使用者:自由的使用资源和获取信息云提供者:提供高效可靠的服务云构建者:构建服务平台，整合计算资源云计算vs电力网LowVoltageHighVoltageWirelessEthernet多种接入设备，随时随地使用，按需付费，易管理，负载平衡，基础设施多样计算模型的变迁科学计算科研，军用商用计算银行，航空个人计算办公，游戏互联网计算搜索，电子商务.

目录11.1云计算的起源1.2云计算的主流定义1.3云计算带给我们的1.4云计算市场展望1.5云计算的发展推动力1.6云计算的优势与挑战什么是云计算云计算特征/模式/主流平台国内运营商的云计算规划附录云计算的起源“它起源于我们将互联网视为云的时候…我们不关心消息去往何处…云为我们屏蔽了复杂性”KevinMarks,Google“融合的云是对服务器，应用，数据，基础设施的复杂性和异构平台的简化抽象”Amazon’sCEOJeffBezos云计算的理想

OSGi化历程和JBoss的集成和Tomcat的集成启动过程与Land的关系OSGi化历程发生于HSFV1.4，历经三个月才完成四大痛苦，不亚于重写了一遍HSF带来的好处模块化，至少现在HSF要改造为core+extensions的结构是非常容易滴；

MapReduce是一个“与处理以及生成大量数据集相关联的”程序模型。 用户通过定义一个map函数，处理键值对以生成一个中间键值对的集合， 以及一个叫做reduce的函数用以合并所有先前map过后的有相同键的中间量。现实世界中的许多任务在这个模型中得到了很好的表达，如下文所述。  程序员用这种风格的程序写出的代码可以自动并行以及在商用机器上大规模地处理数据。运行时系统关注输入数据的分区，通过一系列机器的集合来规划程序的执行，处理程序失效以及把控必要的系统内部交互。

云计算引领新时代潮流2华为云平台IDC解决方案3华为桌面云解决方案Page*面向IT转型，发现新增长点新业务，新需求已有用户业务需求日益多样化中小企业需求导出”集中部署、按需取用“的新经营思路商业模式转型提供基础运营平台，如AppStore模式，从自己开发业务到业务集成，从卖业务到卖能力引入互联网的“游戏规则”，不仅前向收费，更需要后向收费模式网络支撑通用硬件和操作系统的数据中心网络平台.

什么是云计算云计算是一种计算模式：把IT资源、数据、应用作为服务通过网络提供给用户云计算是一种基础架构管理方法论：把大量的高度虚拟化的资源管理起来，组成一个大的资源池，用来统一提供服务.为什么需要云计算商业需求：降低IT成本、简化IT管理和快速响应市场变化运营的需求：规范流程、降低成本、节约能源计算的需求：更大的数据量、更多的用户技术的进步：虚拟化、多核、自动化、Web技术

在eclipse中阅读源码非常方便，利于我们平时的学习，下面讲述如何把hadoop源码导入到eclpse的java工程中。解压源码首先，我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压，如图1所示图1我们关注文件夹src，浏览该文件夹，如图2所示图2我们需要这三个文件夹，一会我们会把这三个文件夹复制到eclipse中。

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。Spark被称为“Hadoop的瑞士军刀”，拥有非凡的速度和易用性。Spark立足于内存计算，相比Hadoop MapReduce，Spark在性能上要高100倍，而且Spark提供了比Hadoop更上层的API，同样的算法在Spark中实现往往只有Hadoop的1/10或者1/100的长度。

Spark提供的数据集操作类型有很多种，不像Hadoop只提供了Map和Reduce两种操作。比如map, filter, flatMap, sample, groupByKey, reduceByKey, union, join, cogroup, mapValues, sort,partionBy等多种操作类型，Spark把这些操作称为Transformations。同时还提供Count, collect, reduce, lookup, save等多种actions操作。

Spark是基于内存的迭代计算框架，适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大，数据量小但是计算密集度较大的场合，受益就相对较小 ◆ 由于RDD的特性，Spark不适用那种异步细粒度更新状态的应用，例如web服务的存储或者是增量的web爬虫和索引。就是对于那种增量修改的应用模型不适合。

Cloudera Manager介绍和安装ClouderaManager（简称CM）用于管理CDH4集群，可进行节点安装、配置、服务配置等，提供Web窗口界面提高了Hadoop配置可见度，而且降低了集群参数设置的复杂度。

在所有节点编辑好host文件三个节点，先定义好主机名！！！！！这步很重要分别是hadoop1,hadoop2,hadoop32在所有节点上创建密钥

使用Hive可以高效而又快速地编写复杂的MapReduce查询逻辑。但是某些情况下，因为不熟悉数据特性，或没有遵循Hive的优化约定，Hive计算任务会变得非常低效，甚至无法得到结果。一个”好”的Hive程序仍然需要对Hive运行机制有深入的了解。

1．访问透明性是指对不同数据表示形式以及资源访问方式的隐藏。而位置透明是用户无法判别资源在系统中的物理位置。2.迁移透明性是指分布式系统中的资源移动不会影响该资源的访问方式。而复制透明是指对同一个资源存在多个副本的隐藏。3.一个开放的分布式系统就是根据一系列准则来提供服务，这些准则描述了所提供服务的语法和语义。

Hadoop是一个分布式的计算平台。 Hadoop primarily consists of the Hadoop Distributed FileSystem (HDFS) and an implementation of the Map-Reduce programming paradigm.<br> Hadoop is a software framework that lets one easily write and run applications that process vast amounts of data. Here's what makes Hadoop especially useful:<br> 可扩展: Hadoop can reliably store and process petabytes. 廉价: It distributes the data and processing across clusters of commonly available computers. These clusters can number into the thousands of nodes. <br> 高效: By distributing the data, Hadoop can process it in parallel on the nodes where the data is located. This makes it extremely rapid. <br> 可靠: Hadoop automatically maintains multiple copies of data and automatically redeploys computing tasks based on failures.

Hadoop正是为了解决互联网时代的海量数据存储和处理而设计、开发的。简单地讲，Hadoop是一个可以更容易开发和并行处理大规模数据的分布式计算平台 Hadoop的核心框架包括两个部分：HDFS 和Mapreduce；HDFS（即Hadoop Distributed System的缩写）是分布式计算的基石，而Mapreduce是任务的分解和结果的汇总。简单的说，Map就是 将一个任务分解成 为多个任务，而Reduce就是将分解后多任务处理的结果汇总起来得出最后的结果；HDFS是一个与其它文件系统类似的，对于整个集群有单一的命名空间，文件被分割为多块分配存储到数据节点上的一个系统。

此文档是用户使用Hadoop集群或普通单机分布式文件存储系统（HDFS）开展工作的起点，尽管HDFS被设计成适应于许多环境，有用的HDFS知识能大大帮助我们优化配置及诊断具体集群的问题。HDFS是Hadoop应用使用的主要分布式存储器，HDFS集群主要由管理文件系统元数据的NameNode（名称节点）和存储实际数据的DataNode（数据节点）组成。HDFS架构指南详细途述了HDFS。这个用户指南主要针对活动和管理的HDFS集群用户。HDFS架构图描述了NameNode、DataNode和客户端基本的相互作用。客户端通过NameNode取得文件的元数据和修改（状态或记录）然后实际执行I/O操作直接使用DataNode。