登录
注册
首页
项目
经验
代码
文库
问答
博客
资讯
MapReduce
(共
49
篇经验)
0
推荐
16K
浏览
MapReduce的组合式,迭代式,链式
1.比如我们输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?可以使用迭代式 2.那么什么是迭代式? 3.什么是依赖式? 4.什么是链式? 5.三种模式各自的应用场景是什么?
jopen
10年前
MapReduce
分布式/云计算/大数据
0
推荐
52K
浏览
mysql的安装以及和mapreduce的交互
mysql的安装以及和mapreduce的交互
jopen
10年前
MySQL
MapReduce
数据库服务器
0
推荐
23K
浏览
在 Oracle 数据库中实现 MapReduce
在程序员开发并行程序时,Map-Reduce模式正变得流行起来。这些map-reduce程序通常来并行处理大量数据。本文来演示如何在Oracle数据库上,通过使用Parallel Pipelin...
jopen
10年前
Oracle
MapReduce
数据库服务器
0
推荐
30K
浏览
hadoop 学习笔记:mapreduce框架详解
Mapreduce是一个计算框架,既然是做计算的框架,那么表现形式就是有个输入(input),mapreduce操作这个输入(input),通过本身定义好的计算模型,得到一个输出(output)...
jopen
10年前
MapReduce
分布式/云计算/大数据
0
推荐
24K
浏览
分布式数据处理MapReduce
MapReduce是google提出的一个软件架构,是一种处理海量数据的并行编程模式,用于大规模数据集(通常大于1TB)的并行运算。
jopen
11年前
MapReduce
分布式/云计算/大数据
0
推荐
32K
浏览
从 MapReduce 到 Hive —— 一次迁移过程小记
早先的工作中,有很多比较复杂的分析工作,当时对hive还不熟悉,但是java比较熟悉,所以在进行处理的时候,优先选择了MR. 但是随着工作的数据内容越来越多,越来越复杂,对应的调整也越来越多,越来越复杂.
jopen
11年前
Hive
MapReduce
分布式/云计算/大数据
0
推荐
17K
浏览
MapReduce初级案例
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapRed...
jopen
11年前
MapReduce
分布式/云计算/大数据
0
推荐
11K
浏览
用MapReduce做相似度分析
用MapReduce做相似度分析
jopen
11年前
MapReduce
分布式/云计算/大数据
0
推荐
33K
浏览
MapReduce论文学习笔记
* 大数据计算问题的提出:如何处理并行计算、如何分发数据、如何处理错误等等。这些问题合起来使得大数据处理变得复杂 * 为了解决这些问题,需要设计新的计算抽象模型:只要表述想要执行的运算,而屏蔽...
jopen
11年前
MapReduce
分布式/云计算/大数据
0
推荐
26K
浏览
MapReduce工作机制总结
总结从MapReduce程序中的JobClient.runJob(conf)开始,给出了MapReduce执行的流程图(如下),并分析了流程图中的四个核心实体,结合实际代码介绍了MapReduc...
jopen
11年前
MapReduce
0
推荐
56K
浏览
HBase常用功能和HBase+MapReduce使用总结
HBase常用功能和HBase+MapReduce使用总结
jopen
11年前
HBase
MapReduce
NoSQL数据库
0
推荐
19K
浏览
MapReduce的数据流程、执行流程
MapReduce的数据流程、执行流程
jopen
11年前
MapReduce
0
推荐
27K
浏览
mapreduce源码分析总结
Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的MapReduce论 文公开发布了。其中对它的定义是,M...
jopen
11年前
MapReduce
0
推荐
36K
浏览
mapreduce实现全局排序
mapreduce实现全局排序
jopen
11年前
MapReduce
0
推荐
12K
浏览
mapreduce源码分析作业分配过程
前面提到作业初始化将创建一系列的TaskInProgress缓存到内存,等待各个 tasktracker结点向jobtracker发送心跳请求任务,由jobtracker端的调度器分配任务,默认...
jopen
11年前
MapReduce
0
推荐
15K
浏览
mapreduce实现"浏览该商品的人大多数还浏览了"经典应用
mapreduce实现"浏览该商品的人大多数还浏览了"经典应用
jopen
11年前
MapReduce
0
推荐
16K
浏览
MapReduce新版客户端API源码分析
使用MapReduce新版客户端API提交MapReduce Job需要使用 org.apache.hadoop.mapreduce.Job 类。JavaDoc给出以下使用范例。
jopen
11年前
MapReduce
分布式/云计算/大数据
0
推荐
46K
浏览
MapReduce架构设计
MapReduce架构设计
jopen
11年前
MapReduce
软件架构
0
推荐
21K
浏览
Python版的一个计算好友相似度的MapReduce实现
背景是一个8万多人的小型社区,平均每个用户添加了4.792名好友,好友数最多的用户有3000多名好友,也有4万多用户没有添加任何好友(挺符合社交网络长尾效应的)。
jopen
11年前
MapReduce
Python开发
0
推荐
17K
浏览
MapReduce实现 - GraphLab
GraphLab 是一个机器学习平台,主要是图模型方面的计算。 GraphLab 是另一种有趣的MapReduce抽象实现,侧重机器学习算法的并行实现。GraphLab中,Map阶段定义了...
jopen
12年前
MapReduce
分布式/云计算/大数据
1
2
3
经验分享,提升职场影响力
投稿
热门问答
热门文档