Google的云计算技术实际上是针对Google特定的网络应用程序而定制的。针对内部网络数据规模超大的特点，Google提出了一整套基于分布式并行集群方式的基础架构，利用软件的能力来处理集群中经常发生的节点失效问题。

hadoop实战(虚拟多台电脑).

介绍: 分布式计算中间件，如Corba，快速发展，当激烈的和全球的竞争使以传统方式开发和维护复杂的系统越来越困难的时候。Corba可以让你调用在分布是对象上的操作，而不用关心它的应用底层的环境。传统的Corbar定义了一个软总线框架，制定了有标准接口的对象服务，利用Corba我们可以集成和组合大型，复杂的分布式应用系统。

　　本文首先介绍了分布式组件的原理，并通过CORBA技术在TMN(电信管理网)中的应用详细说明了分布式组件之一corba的原理和应用。

CORBA技术和移动Agent技术都是目前国内外研发的热点。将以上两种流行技术融合，使CORBA中的对象（服务器方以及客户方）具有移动Agent的特点是本文的设计思想。基于以上思想，本文给出了一种基于移动Agent的双向CORBA系统体系结构及其原型系统（称之为agentCORBA），并重点解决了在CORBA服务器方对象（如servant）移动的情况下对象命名服务的透明性问题。文本最后给出了一个基于该体系结构的简单应用实例，用以检测该体系结构及其原型系统的正确性和可用性

Map/Reduce是一个用于大规模数据处理的分布式计算模型，它最初是由Google工程师设计并实现的，Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是，Map/Reduce是一个编程模型（programming model），是一个用于处理和生成大规模数据集（processing and generating large data sets）的相关的实现。用户定义一个map函数来处理一个key/value对以生成一批中间的key/value对，再定义一个reduce函数将所有这些中间的有着相同key的values合并起来。很多现实世界中的任务都可用这个模型来表达。

CloudFoundry是一个开源的PaaS云计算平台，它提供给开发者自由度去选择云平台，开发框架和应用服务。CloudFoundry最初由VMware发起，得到了业界广泛的支持，它使得开发者能够更快更容易的开发，测试，部署和扩展应用。CloudFoundry是一个开源项目，用户可以使用多种私有云发行版，也可以使用公共云服务，包括CloudFoundry.com；

云计算中的隐私研究

　　节点是通过心跳来告诉master 自己还存活的。而在这之前，我做了一个测试，加了一个新节点到集群中，后来又把节点给删了，hosts（这个hosts应该是指被删除节点的host吧） 的文件也被改了，会不会是这个节点还在往master 发送心跳？SSH 到那个新节点上，jps 看一下任务，task tracker 果然还活着！把这个进程kill 掉，问题就OK 了。

译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。 虽然GFS的设计目标与许多传统的分布式文件系统有很多相同之处，但是，我们的设计还是以我们对自己的应用的负载情况和技术环境的分析为基础的，不管现在还是将来，GFS和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择，衍生出了完全不同的设计思路。 GFS完全满足了我们对存储的需求。GFS作为存储平台已经被广泛的部署在Google内部，存储我们的服务产生和处理的数据，同时还用于那些需要大规模数据集的研究和开发工作。目前为止，最大的一个集群利用数千台机器的数千个硬盘，提供了数百TB的存储空间，同时为数百个客户机服务。 在本论文中，我们展示了能够支持分布式应用的文件系统接口的扩展，讨论我们设计的许多方面，最后列出了小规模性能测试以及真实生产系统中性能相关数据。

通过编码（java）的形式对HBase进行一系列的管理涉及到对表的管理、数据的操作等。

第八章分布式数据管理主讲人：陈志刚教授中南大学软件学院第八章分布式数据管理8.1一致性模型当数据有多个副本的时候，一个重要的问题是如何保持多个副本的一致性，也就是说，当一个副本更新后，需要保证其他的副本也同样得到更新，否则，两个副本的内容就会不同。一致性模型是进程和数据存储之间的一个基本约定，也就是说，如果进程对数据的访问遵守特定的规则，那么数据存储就能够正确进行。

第七章分布式系统中容错技术主讲人：陈志刚教授中南大学软件学院第七章分布式系统中容错技术7.1分布式系统中的故障模型基本概念分布计算系统是一个可信赖的系统，容错是与可信赖系统紧密相联的一个概念。分布计算系统的可信赖行主要包括如下几个方面：（1）可用性：可用性反映的是系统随时可被用户使用的特性。（2）可靠性：可靠性指的是在错误存在的情况下，系统持续服务的能力。（3）安全性：安全性指的是在系统出现暂时错误的情况下，不出现灾难性后果的能力。（4）可维护性：可维护性指的是系统一旦出现故障，系统易于修复的能力。

第六章分布式系统中的死锁6.1死锁问题一般地说，分布式系统涉及更广泛的资源和数据共享。同集中式系统相比，分布式系统需要通过多个机器才能得到相关信息，其死锁更难避免、更难防止、更难检测和纠正。**分布式系统中的死锁和集中式系统中的死锁非常相似，只不过问题更为严重。

第四章命名与保护4.1分布式系统中的命名名字、标识符和地址命名是给各种服务、对象和操作起个名字，并提供一种手段把这些名字变换成它们所代表的实体本身。在分布计算系统中，命名系统的实现本身就是分布式的，是跨越多个机器而实现的。命名系统的分布实现方式是影响命名系统有效性和可扩充性的关键因素。分布计算系统中的一个名字是一个二进制位串或一个字符串，它被用来表示一个实体。对一个实体进行操作，需要提供一个实体访问点。访问点是分布计算系统中另一种形式的特殊实体，这种实体的名字被称为地址。名字的两种形式：地址和标识符。

第三章分布式程序设计语言中南大学软件学院3.1分布式程序设计语言概述对应用程序进行程序设计的理由：减少单个计算的周转时间；增加可靠性和可用性；使系统的某些部分提供某些特殊功能以及固有的分布式应用。中南大学软件学院分布式应用程序的分类并行、高性能应用程序。通过并行性达到加速是在分布计算系统上运行应用程序的最主要的原因。容错应用程序。分布计算系统具有允许部分失效的特性，即由于各处理机具有自治性，一个处理机的故障不影响其他处理机的正常工作。程序和数据也可在若干处理机上复制而进一步增加可靠性。具有专用功能的应用程序。一些应用程序可以被构造成一组专用的服务程序。例如文件服务、打印服务、进程服务、终端服务、时间服务等。固有的分布式应用程序。

第二章进程通信中南大学软件学院第二章进程通信进程通信的定义：进程间的信息交换。1.同一物理节点上进程通信绝大多数UNIX系统提供管道，共享内存和消息队列的方法。2.不同物理节点上进程通信通过通信网络实现通信，必须规定一套通信协议。中南大学软件学院2.1同一节点上的进程间通信大多数UNIX系统提供多种进程通信方式，主要有：信号(Signal)；管道(pipe)；命名管道(FIFO)；消息队列(messagequeue)；信号灯(semaphore)；共享内存(sharedmemory)内存映象(memorymappedfile)。中南大学软件学院管道管道通常被用作单向的通信信道，该信道将一个进程与另一个进程连接在一起。管道提供了一种简单的，同步的进程之间传送消息的方式。管道可以分为两类：无名管道和命名管道。

分布计算系统陈志刚中南大学第一章分布式系统概述1∙1什么是分布式系统？分布式系统有很多不同的定义，但没有一个是令人满意或者能够被所有人接受的。介绍分布式系统，对它的特点进行大致的描述就足够了：一个分布式系统是一些独立的计算机的集合，但是对该用户来说，系统就像一台计算机一样。这个定义有两方面的含义:一，从硬件角度来说，每台计算机都是自主的：二，从软件角度来讲，用户将整个系统视为一台计算机。这两者都视必需的，缺一不可。

本实验课程不是一门单独的实验课程，是在进行《分布式系统》课程学习时，同步进行的上机实验。 通过本实验，学习并掌握分布式系统中的进程间通信机制，包括共享内存和信号量。并通过实验培养解决实际问题的能力，实验报告的编写、总结实验结果的能力。

本课程是计算机科学与技术专业硕士研究生的一门专业课程，同时也是通信工程专业、软件工程专业硕士研究生和计算机技术专业工程硕士的一门专业选修课。本课程的内容涉及分布式系统的基本概念、基本原理和基本方法，具体涵盖了分布计算系统的基本概念和体系结构，分布计算系统的进程通信，分布式程序设计语言，命名与保护，分布式同步和互斥机构，死锁问题及其处理技术，容错技术，分布式数据管理，分布式文件系统的设计问题与实现方法，分布式调度，分布式共享存储器技术以及基于对象的分布式系统，以及相关的前沿主题，包括web服务、网格、移动系统和无处不在系统等。通过这门课程的教学，使学生对分布式系统的基本概念、有关体系结构、分布式系统设计原理与方法有一个系统的掌握，能深入理解一些典型的分布式计算系统，为以后从事分布式系统研究与设计打下良好的理论和工程实践的基础。