董老师开讲了《大数据入门》2015.01.17 硅谷创业协会讲座笔记： 同学们好，今天的讲座主题是大数据入门，我的大纲如下 首先自我介绍一下，我叫董飞，目前在硅谷的一家做在线教育公司C

thebigdata.cn/Hadoop/14797.html 大数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢

1. 基于hadoop的数据仓库技术 2. 目录Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hive本文的内容主要来自三篇hadoop领域的核心论文

1. 文档式数据库在Hadoop集群中的应用SequoiaDB – 王涛 2. 提纲大数据回顾1数据库在Hadoop中的定位3用户案例4文档式数据库特性2 3. 大数据回顾Batch Analytics

1. 以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据http://www.xfyun.cn/ 2. 大数据技术发展Native lib Checksum 机制 ShortCircuit Read一头奔跑的大象，不断进化YARN

在过去三年，Hadoop生态系统已经大范围扩展，很多主要IT供应商都推出了Hadoop连接器，以增强Hadoop的顶层架构或是供应商自 己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件 映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快

Falcon 提供了一个用于治理和编排 Hadoop 内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关 键性

提 到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。我 把2012年后定义成后Hadoop平台时代，这不是说不用Hadoop，而是像NoSQL

HDFS：分布式存储系统（Hadoop Distributed File System）：提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月 )，是GFS克隆版

1. 基于hadoop的数据仓库技术 2. 目录Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hive本文的内容主要来自三篇hadoop领域的核心论文

1Hadoop与数据分析淘宝数据平台及产品部基础研发组 周敏日期：2010-05-26 2. OutlineHadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析

1. 以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据http://www.xfyun.cn/ 2. 大数据技术发展Native lib Checksum 机制 ShortCircuit Read一头奔跑的大象，不断进化YARN

1. 淘宝Hadoop数据分析实践淘宝 数据平台与产品部 周敏（周忱） 2. 数据分析选型历程 Hadoop简介 系统架构 集群介绍 近期对Hadoop的改造实践主要内容 3. webalizer awstat 般若

Gobblin 是 Hadoop 通用数据摄取框架，可以从各种数据源中提取，转换和加载海量数据。比如：数据库，rest APIs，filers，等等。Gobblin 处理日常规划任务需要所有数据摄取 ETLs

Cascalog 是 Hadoop 上的数据处理解决方案，无需 hassle。 Cascalog 是 Clojure 或者 Java 的全功能数据处理和查询库。Cascalog 主要的作用是处理 Hadoop

Kumert 宣布 ， Hadoop 分布式计算平台将整合到下一个版本的关系数据库 SQL Server 2012、Windows Server 和 Azure 中。 Hadoop 是一个顶级 Apache

Google强大的搜寻引擎每天处理庞大的搜寻数据，靠的是数十万的伺服器同时作工。然而一般企业并无法使用Google所用的内部搜寻引擎工具，所以，拥有处理大数据工具的分散式运算平台Hadoop应运而生。 但问题是

这些步骤定义了将要进行的数据处理，而流就是带有数据源与数据接收 器（data-sink）的管道的联合。 Cascading是一个新式的针对Hadoop clusters的数据处理API，它使用富于表现

Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。在Hadoop中实现了Google的MapReduce算法，它能够