Ceph概述Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统可轻松扩展到数PB容量对多种工作负载的高性能（每秒输入/输出操作[IOPS]和带宽）高可靠性支持对象存储，文件系统，块存储Ceph系统的层次结构最底层的RADOS就对应Ceph Storage Cluster， 然后就是LIBRADOS，这可以当成是访问RADOS的一个库。用户可以利用这个库开发自己的客户端应用；Ceph提供的对象存储（RADOSGW）、块设备（RBD）、文件系统（CEPHFS）也都是基于这个库完成的。

J2EE架构经典实现：一般来说我们会使用Structs/WebWork+Spring+Hibernate/iBitas 来进行实现，.NET架构基本也是如此；并且会引入相应的Ajax框架（例如YUI,DOJO,EXTJS,GWT,PROTYPE etc). 一种改良实现：UI(用户界面逻辑）采用php/asp.net/flex/html5进行开发，业务逻辑层和数据访问层采用JAVA进行开发。UI(用户界面逻辑）层与业务逻辑层采用REST WebService进行集成。

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。

基于AWS云平台构建支撑千万级用户的应用。亚马逊云计算高级架构师DavyWang云计算不是有弹性吗？弹性的确是云计算的一个重要特性AWS云平台也提供AutoScaling功能来帮助用户实现弹性伸缩但是，应用服务的弹性伸缩需要良好的设计应用的架构使用的服务类型我们以典型的Web应用为例…第一阶段：从一个用户开始…一个EC2实例安装了所有相关软件堆栈Web应用数据库管理等一个EIPDNS服务：Route53最简单的扩展：换个更大的机器可以使用PIOPS高I/O实例高内存实例高CPU实例高存储实例。

目录京东大数据平台介绍实时数据平台背景实时数据平台解决方案关键环节详解关于平台产品化京东大数据平台定位支撑全集团数据业务全集团数据集中自助式服务平台模式京东大数据平台发展历程---技术选型2011年之前2011~20122012~至今京东大数据平台发展历程---技术选型传统商业数据仓库解决方案弊端高复杂度计算任务并发性差海量数据处理能力不足存储能力有限扩展性差成本高后期遇到的问题越来越多的ETL任务需要12点后才能完成任务排队现象严重基于流量等大数据量的批量计算和复杂推荐类算法基本无法应付存储达到上限，需不断转移历史数据京东大数据平台发展历程

SDK的教训控制、控制控制SDK大小SDK模块化设计，不同功能可以自行组合控制数据包大小使用二进制数据包格式，thrift再控制控制与服务端交互策略多种发送模式，满足实际业务需求数据包去重，多重校验SDK端按规则调整+服务端动态控制服务系统的教训需求驱动是最合适的演进方向！快速迭代意味着取舍选择

什么是云计算？什么是云计算平台任务调度系统？有哪些任务？看看有哪些要求需要满足？响应要快要看进度成功率高要稳定得安全速度快处理速度快多任务并行反馈结果要怎么设计？看看有哪些要求需要满足？不能中断业务不能影响操作操作简单结果易确认能回滚能转移业务有检查接口能回退要怎么设计？

搭建NFS服务端操作系统版本：RedHat Enterprise Linux Server release6.4(Santiago)

数据挖掘与计算大纲问题背景CPU资源倾斜问题源数据倾斜问题小结淘宝技术部-数据挖掘与计算问题背景Spark Streaming在淘宝！双122013.12.12双112014.11.11双122014.12.12 SparkStreaming商品推荐店铺推荐行业个性化推荐…淘宝技术部-数据挖掘与计算问题背景使用过程中我们经常碰到：内存还剩很多，CPU资源缺消耗殆尽，造成作业无法提交任务的数据本地化有时候会很差，数据需要进行网络间的迁移CPU资源利用率问题源数据的倾斜问题淘宝技术部-数据挖掘与计算问题

介绍实时数据平台背景实时数据平台解决方案关键环节详解关于平台产品化京东大数据平台定位支撑全集团数据业务全集团数据集中自助式服务平台模式京东大数据平台发展历程---技术选型2011年之前2011~20122012~至今京东大数据平台发展历程---技术选型传统商业数据仓库解决方案弊端高复杂度计算任务并发性差海量数据处理能力不足存储能力有限扩展性差成本高后期遇到的问题越来越多的ETL任务需要12点后才能完成任务排队现象严重基于流量等大数据量的批量计算和复杂推荐类算法基本无法应付存储达到上限，需不断转移历史数据京东大数据平台发展历程

大数据的十个技术前沿

关注沉淀的数据和实体来源的数据案例分享乘法效应+外部效应健康医疗肿瘤研究云服务ERPSaaS实体行业推广的问题小结基础设施人才技术数据困境数据的困境局部全局隐私统计特征价值定向瞄准基础设施的困境集中vs.分散拥有权和使用权回报效益的决定性因素、渐进式研究基于去隐私化的技术对数据分析算法和平台的重构数据服务稳定持续的数据服务提供平台工作分享——DataCoffeehouse可信任云平台建设数据分享和数据分析平台建设可信任云平台的目标问题安全信任问题是

企业应用互联网应用大数据互联网时代－企业面临新挑战弹性可靠性安全性快速交付Cloudbursting资源、服务弹性企业应用需要弹性吗？企业资源利用率如何？如何构建一体化的混合云架构传统IT私有云混合云公有云混合云VDCVDC可靠性安全性快速交付弹性企业应用挑战－软件架构弥补硬件不足如何让数据变得可靠MasterChunk存储文件元信息(内存)存储文件实际数据写入摘要信息获取多个不同机架的ChunkServer（磁盘利用率低者优先）连接主副本主副本向其他副本同步（减少客户端流量）主副本数据可靠一定是通过数据冗余来实现的后台巡检心跳在虚拟目录上存储元信息

eclipse开发环境配置安装开发hadoop插件将hadoop安装包hadoop\contrib\eclipse-plugin\hadoop--eclipse-plugin.jar拷贝到eclipse的插件目录plugins下。 需要注意的是插件版本（及后面开发导入的所有jar包）与运行的hadoop一致，否则可能会出现EOFException异常。

由于现在hadoop2.0还处于beta版本，在apache官方网站上发布的beta版本中只有编译好的32bit可用，如果你直接下载安装在64bit的linux系统的机器上，运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误，但在实际测试中是可以正常安装并可以运行自带的wordcont例子，所以这 个错误不会导致hadoop2.1.0的安装和运行失败，此错误引起原因是由于鉴于性能问题以及某些Java类库的缺失，对于某些组件，Hadoop提供 了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so，此文件在发行的hadoop版本 lib/native目录下。

环境：Win7系统装虚拟机虚拟机VMware-workstation-full-9.0.0-812388.exeLinux系统Ubuntu12.0.4JDKjdk-7u17-linux-i586.tar.gz搭建步骤：首先在win系统装虚拟机，执行VMware-workstation-full-9.0.0-812388.exe；其次需要在虚拟机上装Ubuntu12.0.4；安装完成Ubuntu12.0.4之后，需要安装JDK，(注意：安装JDK需要处理一些其他问题，JDK必须是Linux版本的，还有就是JDK要和操作系统的位数相符合，比如32位、64位都有对应的安装包)：JDk的安装路径

此文档是用户使用Hadoop集群或普通单机分布式文件存储系统（HDFS）开展工作的起点，尽管HDFS被设计成适应于许多环境，有用的HDFS知识能大大帮助我们优化配置及诊断具体集群的问题。HDFS是Hadoop应用使用的主要分布式存储器，HDFS集群主要由管理文件系统元数据的NameNode（名称节点）和存储实际数据的DataNode（数据节点）组成。HDFS架构指南详细途述了HDFS。这个用户指南主要针对活动和管理的HDFS集群用户。HDFS架构图描述了NameNode、DataNode和客户端基本的相互作用。客户端通过NameNode取得文件的元数据和修改（状态或记录）然后实际执行I/O操作直接使用DataNode。

Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

Kubernetes，其实就是说这个Docker技术在13年年底的时候就是说开源出来的时候我就开始关注这个技术，然后当时研究了一段时间，对它的这个代码，怎么样运行都研究过一段时间，后来发现这个最开始玩这个东西还是只能再一个机器上面玩的，而且是管理起来也是不太方便的，当时就觉得这个管理这个技术的确是一个缺陷，当时的一个短板，自己心里面想的是在不久的将来在管理技术方面会出现的。

今天我所讲的内容主要是分成三个方面，第一个是Docker的简介，真的很简洁，第二个是Docker的架构，可能会花一半的时间。 这个Docker的介绍，有几个部分，第一个是Open-source，第二个是automate deployment，第三个是additional layer，第四个是operatingsystem-levelvirtualization，第五个是linux。