如何高效的阅读hadoop源代码? 经验

个人谈谈阅读hadoop源代码的经验。 首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得

ybny 2015-04-24   25911   0

使用Docker在本地搭建hadoop,spark集群 经验

使用Docker在本地搭建hadoop,spark集群 简介和环境说明 本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这

jopen 2016-01-06   19262   0

大数据(一) - hadoop生态系统及版本演化 经验

HDFS:分布式存储系统(Hadoop Distributed File System):提供了高可靠性、高扩展性和高吞吐率的数据存储服务 HDFS源自于Google的GFS论文 (发表于2003年10月 ),是GFS克隆版

jopen 2016-01-20   22814   0
P11

  ubuntu下安装配置hadoop1.0.4 文档

下 安装配置 hadoop 1.0.4 第一次搞hadoop,折腾我2天,功夫不负有心人,终于搞好了,现在来分享下, 我的环境 操作系统:wmv虚拟机中的ubuntu12.04 hadoop版本:hadoop-1

zhangbc 2013-09-06   757   0
P5

  在windows上建立hadoop+eclipse开发环境 文档

在windows上建立hadoop-eclipse开发环境 参见《hadoop开发者》第一期的“在Windows上安装Hadoop教程” 《Windows下基于Eclipse的Hadoop开发环境完全配置.doc》

lxj2008 2014-01-19   358   0
P33

  分布计算中的hadoop编程技术 文档

1 问题描述 24 6.2 相关工作 24 6.2.1 MapReduce 24 6.2.2 Hadoop 25 6.2.3 异构环境中后备任务调度 25 6.3 实现细节 26 6.3.1 整体框架

sts2008 2010-12-02   4916   0
P3

  Hadoop 搭建步骤(个人整理篇) 文档

如果有问题,欢迎@banligege Hadoop版本:hadoop-0.21.0 Java版本:1.6.0_26 操作系统: CentOS-5.4-x86_64-bin-DVD.iso 三台机器:一台做master、两台做slave。

foreveract 2013-05-26   2672   0
P8

  VM下配置Hadoop详细教程 文档

VM下配置Hadoop详细教程 前言: Hadoop是一个分布式系统基础架构,主要是由HDFS、MapReduce和Hbase组成,分别为Google集群系统GFS、MapReduce、BigTab

12csc12 2011-10-19   293   0
P83

  Hadoop源代码分析(完整版) 文档

Hadoop源代码分析(一) 关键字: 分布式 云计算 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster: http://research

cixiang 2010-11-15   335   0

基于Hadoop的工作流引擎 Oozie 经验

是一个开源的工作流和协作服务引擎,基于 Apache Hadoop 的数据处理任务。Oozie 是可扩展的、可伸缩的面向数据的服务,运行在Hadoop 平台上。 Oozie 包括一个离线的Hadoop处理的工作流解决方案,以及一个查询处理

openkk 2011-12-16   61812   0
P42

  Hadoop可靠性概述(百度) 文档

1. Hadoop可靠性概述 2. HDFS可靠性概述 3. HDFS系统架构 4. NameNode元数据结构根目录File01directory01File03Block01Block01_bac

hans511002 2012-06-24   776   0
P32

  基于hadoop的数据仓库技术 文档

1. 基于hadoop的数据仓库技术 2. 目录Hadoop简介 HDFS (Hadoop Distributed File System) MapReduce Hive本文的内容主要来自三篇hadoop领域的核心论文

cqn1512 2013-05-02   3410   0
P16

  亿赞普Hadoop应用浅析 文档

1. 亿赞普Hadoop应用浅析IZP 肖燕京密级: 2. 目录一 IZP Hadoop集群现状 Hadoop应用 Hadoop集群维护及出现的问题密级: 3. 一:IZP Hadoop集群现状集群规模

lxz 2014-01-03   625   0
P30

  淘宝Hadoop与数据分析 文档

1. 1Hadoop与数据分析淘宝数据平台及产品部基础研发组 周敏日期:2010-05-26 2. OutlineHadoop基本概念 Hadoop的应用范围 Hadoop底层实现原理 Hive与数据分析

lxz 2014-01-03   3863   0
P30

  基于hadoop-hbase的一淘搜索离线系统 文档

1. 基于Hadoop/HBase的一淘搜索离线系统莫 问 2. 个人简介花名:莫问 真名:王峰 2006年硕士毕业于北航计算机系 毕业后加入阿里巴巴集团 雅虎中国 - 垂直搜索团队 阿里云 - 计算服务团队

moshco 2017-02-06   642   0
P36

  以Hadoop为核心的大数据开放平台建设 文档

1. 以Hadoop为核心的大数据开放平台建设孙利兵驾驭大数据http://www.xfyun.cn/ 2. 大数据技术发展Native lib Checksum 机制 ShortCircuit Read一头奔跑的大象,不断进化YARN

ee37 2015-07-05   501   0
P12

  淘宝 Hadoop 数据分析实践 文档

1. 淘宝Hadoop数据分析实践淘宝 数据平台与产品部 周敏(周忱) 2. 数据分析选型历程 Hadoop简介 系统架构 集群介绍 近期对Hadoop的改造实践主要内容 3. webalizer awstat 般若

wsldg 2012-02-28   678   0

实现Hadoop分布式环境部署 博客

目标 配置一个分布式计算集群,让hadoop 框架能够正常的运行起来,主要有master 的namenode,jobtracker 和slave 的datanode,tasktracker. 便于之

openkk 2011-01-03   2897   0
并发  

hadoop集群中配置map/reduce节点数问题 问答

我现在集群中有9个slave,我需要配置成map节点5个,reduce节点3个,那么我在master节点的mapred-site.xml中设置之后,是否需要将这个配置文件拷贝到slave节点上去覆盖原先的那个配置文件?

Numen_fan 2017-04-17   1250   0
C/C++   Hadoop   XML  

Hadoop到Spark的架构实践 经验

经验。本文则主要介绍TalkingData在大数据平台建设过程中,逐渐引入Spark,并且以 Hadoop YARN和Spark为基础来构建移动大数据平台的过程。 初识Spark 作为一家在移动互

jopen 2015-06-08   49372   0
1 2 3 4 5 6 7 8 9 10