0推荐
18K 浏览

MapReduce编程模型的一个轻量级实现:Mrs

Mrs是MapReduce编程模型的一个轻量级实现,但同样拥有高性能,可用于并行计算。
0推荐
33K 浏览

Disco - 基于MapReduce的分布式计算框架

Disco是一个基于MapReduce的分布式计算框架。Disco是一个开源项目,由诺基亚研究中心开发用来解决处理大数据时碰到的实际问题。
0推荐
53K 浏览

MapReduce程序reduce输出控制

在hadoop中,reduce支持多个输出,输出的文件名也是可控的,就是继承MultipleTextOutputFormat类,重写generateFileNameForKey方法
0推荐
104K 浏览

MapReduce 模式、算法和用例(MapReduce Patterns, Algorithms, and Use Cases)

在新文章“MapReduce模式、算法和用例”中,Ilya Katsov提供了一个系统化的综述,阐述了能够应用MapReduce框架解决的问题。
openkk 13年前   
0推荐
49K 浏览

MapReduce数据流

MapReduce的输入一般来自HDFS中的文件,这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点甚至所有节点上运行mapping任务,每一个mapping任务...
0推荐
63K 浏览

用MongoDB实现MapReduce

MapReduce 是 Google 在 2004 年发布的一个软件框架,用于支持大规模数据的分布式计算。 MongoDB 是一个开源的面向文档的 NoSQL 数据库系统,使用 C++ 编写。
openkk 13年前   
0推荐
406K 浏览

谷歌三大核心技术(一)Google File System中文版

我们设计并实现了Google GFS文件系统,一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上,但是它依然了提供灾难冗余的能力,为大量客户机提供了高性能的服务。
0推荐
280K 浏览

谷歌三大核心技术(二)Google MapReduce中文版

MapReduce是一个编程模型,也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于 key/value pair的数据集合,输出中间的基于key/valu...
0推荐
44K 浏览

MapReduce单元测试框架 MRUnit

MRUnit是由Couldera公司开发的专门针对 Hadoop中编写MapReduce单元测试的框架,基本原理是JUnit4和 EasyMock。
jopen 13年前   
1 2 3

经验分享,提升职场影响力

投稿

热门问答

    热门文档