Hadoop构建电影推荐系统 经验

Hadoop家族系列文章 ,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari

jopen 2014-07-30   77065   0
P23

  Hadoop源码分析-MapReduce部分 文档

2009-02-21 Hadoop源代码分析(MapReduce概论) 大家都熟悉文件系统,在对HDFS进行分析前,我们并没有花很多的时间去介绍HDFS的背景,毕竟大家对文件系统的还是有一定的理解的

dishad631 2010-10-01   5060   0
P12

  Hadoop 源码以及流程解析 文档

Hadoop源码以及流程解析 整体结构 DN: Configuration,JobClient,JobConf Master:JobTracker,JobInProgress,TaskInProgress

xfj3526 2012-06-13   2384   0

Elasticsearch、MongoDB和Hadoop比较 经验

引擎,它们存储着JSON文 档,MongoDB存着JSON文档,或者一堆JSON文档存放在一个Hadoop集群的HDFS中。你可以使用这三种配置完成很多同样的事情。 ES是否可以作为一个NoSQL

jopen 2015-05-12   22864   0

hadoop作业调优参数整理及原理 经验

观。 当采用map中间结果压缩的情况下,用户还可以选择压缩时采用哪种压缩格式进行压缩,现在hadoop支持的压缩格式有:GzipCodec,LzoCodec,BZip2Codec,LzmaCode

mq2126 2016-01-21   9102   0

Hadoop和Spark框架的异同 经验

谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是停留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。 1 解决问题的层面不一样

oxzr6054 2016-09-02   14060   0

Apache Hadoop 2.0 Alpha 发布 资讯

Hadoop并不仅仅是一个用于存储的分布式文件系统,而是设计用来在由通用计算设备组成的大型集群上执行分布式应用的框架。 Apache Hadoop 2.0 今天发布了首个 alpha 版本,该版本

jopen 2012-05-27   18210   1

Apache Hadoop 2.3.0发布 资讯

分布式计算开源框架Hadoop近日发布了今年的第一个版本Hadoop-2.3.0,新版本不仅增强了核心平台的大量功能,同时还修复了大量bug。 新版本对HDFS做了两个非常重要的增强: 支持异构的存储层次

jopen 2014-02-27   10093   0

Apache拟在Docker中运行Hadoop 资讯

Apache 在其 Hadoop 维基百科发布了一个 页面 ,主要整理了 Docker 中运行 Hadoop 的好处,以及要完全在 Docker 中运行 Hadoop 所需要完成的工作。在 Docker,或者说其它容器中运行

jopen 2014-09-04   8223   0
Hadoop   Docker  

Hunk/Hadoop: 性能最佳实践 资讯

com/cn/news/2015/09/Hunk-Performance 无论有没有使用Hunk,当运行Hadoop时,有很多种方式导致偶尔的性能底下。多数时候人们是增加更多的硬件来解决问题,但是有时候只需要简单更改下文件的名称就可以解决问题。

jopen 2015-09-28   5966   0
Hadoop  

Spark和Hadoop,孰优孰劣? 资讯

http://www.infoq.com/cn/news/2015/12/Spark-Hadoop-HDFS Spark 已经取代 Hadoop 成为最活跃的开源大数据项目。但是,在选择大数据框架时,企业不能因此就厚此薄彼。近日,著名大数据专家

jopen 2015-11-30   16341   0
Spark  
P9

  8步安装好你的hadoop 文档

三个节点,先定义好主机名!!!!!这步很重要 分别是hadoop1 , hadoop2 , hadoop3 2 在所有节点上创建密钥对 hadoop106#ssh-keygen -t rsa hadoop114#ssh-keygen

lwg32719 2014-06-07   2110   0
P33

  Hadoop与HBase自学笔记 文档

思数科技引领未来 www.bihuman.com Hadoop与HBase自学笔记 1、 安装jdk 安装eclipse时已经提过,这里略,使用jdk1.6.0_12版本。 2、 安装Cygwin以及相关服务

ka520 2015-11-14   1170   0
P5

  How To Write Map-Reduce On Hadoop 文档

How To Write Map-Reduce On Hadoop 概述 Hadoop Map-Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在 由上千个商用机器组成的大型集群

thinkingx 2011-12-15   4828   0
P6

  Hadoop 学习总结之一:HDFS简介 文档

一、HDFS的基本概念 1.1、数据块(block) · HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 · 和普通文件系统相同的是

huafenged 2012-02-24   3626   0

Hadoop Outputformat浅析(转) 博客

Hadoop Outputformat浅析 (转) 分类: 大数据技术 hadoop 作业 string path 存储 null 目录 (?) [-] 相关厂商内容 OutputFormats是做什么的

cnzebra 2013-06-27   473   0
P9

  Hadoop 集群搭建文档 文档

Hadoop集群搭建文档 环境: Win7系统装虚拟机 虚拟机VMware-workstation-full-9.0.0-812388.exe Linux系统 Ubuntu12.0.4 JDK jdk-7u17-linux-i586

cbxw 2015-01-07   1752   0
P15

  基于Hadoop的研究及性能分析 文档

 基于Hadoop的研究及性能分析 摘要 在大数据到来的今天,本文首先介绍了Hadoop及其核心技术MapReduce的工作原理。详细讨论了Hadoop推测执行算法和SALS推测执行算法并对它们的性

mn6e 2015-05-25   2824   0
P9

  Hadoop 集群搭建文档 文档

Hadoop集群搭建文档 环境: Win7系统装虚拟机 虚拟机VMware-workstation-full-9.0.0-812388.exe Linux系统 Ubuntu12.0.4 JDK jdk-7u17-linux-i586

774318955 2014-04-28   2885   0
P4

  Hadoop-0.20.2连接MySQL 文档

Hadoop-0.20.2 连接MySQL 一、 背景 为了方便Mapreduce直接访问关系型数据库(Mysql,Oracle),Hadoop提供了DBInputFormat和DBOutputFO

baisonghh 2013-01-04   4610   0
1 2 3 4 5 6 7 8 9 10