MapReduce 图解流程超详细解答(1)-【map阶段】

jopen 9年前

在MapReduce中，一个YARN  应用被称作一个job， MapReduce 框架提供的应用，master的一个实现被称作MRAppMaster

MapReduce Job的时间线

Timeline MapReduce Job


MapReduce Job  运行的时间线：

  • Map Phase:若干 Map Tasks 被执行
  • Reduce Phase: 若干Reduce Tasks 被执行

reduce可能会在map阶段结束之前开始执行，因此上面显示的有重叠的地方。

Map Phase

现在我们集中考察map相，一个关键的问题是一个应用需要多少map任务去运行现在的这个job

用户给了我们什么？

我们退回到之前的一步，当一个用户提交一个应用的时候，若干信息被提供给了YARN ，分别是：


  • 一个配置：这可以是一部分的，因为一些参数不需要用户特别指定，可以有自己的默认值。
  • 一个jar文件，含有一个map，一个combiner，一个reduce
  • 一个输入和输出信息 输入目录 是不是在hdfs上，有多少文件呢？输出的时候，我们存储在哪里

The number of files inside the input directory is used for deciding the number of Map Tasks of a job.
那么，输入的目录中文件的数量决定多少个map会被运行起来

多少个map任务？

应用针对每一个分片运行一个map，一般而言，对于每一个输入的文件会有一个map split。如果输入文件太大，超过了hdfs块的大小（64M）那么对于同一个输入文件我们会有多余2个的map运行起来。下面是FileInputFormat class 的getSplits()的伪代码： 

num_splits = 0  for each input file f:     remaining = f.length     while remaining / split_size > split_slope:        num_splits += 1        remaining -= split_size

where:

split_slope = 1.1 分割斜率  split_size =~ dfs.blocksize 分割大小约等于hdfs块大小

在mapreduce2.0以上版本mapreduce.job.maps 属性会被忽略

MapTask Launch
启动MapTask

mapreduce应用会向资源管理器请求这个job需要的容器，一个maptask容器请求每一个maptask。一个容器对每一个maptask的请求会尝试利用map分片的本地性，应用会请求一下数据：

  • 请求map split 和container在同一个节点管理器的container 
  • 如果没有，请求一个map split 和container在同一个机架上的节点管理器上的container
  • 否则请求任意节点管理器上的container

这只是一小部分资源任务。资源任务器在资源任务器既定目标和指定目标冲突的时候，可以忽略本地性。当一个容器被分配一个任务，map就马上启动了。

Map阶段：一个执行阶段的例子

Map Phase execution

map 相的一个简要图：
  • 有两个节点管理器：每一个2GB的内存，每一个map需要1GB我们可以并行运行两个容器。这是最好的情况，而资源任务器的决策可能会有所不同
  • 集群没有其他的YARN任务运行
  • 我们的job有8个map分片，也就是在输入文件夹中有7个文件，只有一个是大于hdfs块大小的，需要被拆分为两个文件。


map任务的执行时间线

Map Task Execution Timeline

现在我们可以聚焦单个的map task：这是单个map的执行时间线：

  • 初始相：我们设置map任务
  • 执行相：map分片里面的每一个键值对进行map（）函数运算
  • 溢写相：map的输出保存在环形内存缓冲区，当缓冲区满80%（一般80%），启动溢写相，将缓冲的数据写出到磁盘。
  • 洗牌相：在溢写相的结尾，我们合并多有的输出，并且打包他们以便进行reduce相处理。


map任务：初始化

在初始化阶段，我们：


  1. 创建一个上下文对象（context ）（TaskAttemptContext）
  2. 创建用户map.class实例
  3. 设置输入
  4. 设置输出
  5. 创建mapper的上下文(MapContext.class, Mapper.Context.class)
  6. 初始化输入也就是：
  7. 创建 SplitLineReader.class 分片行阅读器
  8. 创建HdfsDataInputStream.class hdfs数据输入流


Map任务：执行阶段

MapTask execution

执行阶段通过 Mapper class.的run()方法：

用户可以重写这个方法，但是默认的时候通常会调用setup而启动这个程序。这个函数默认并不做什么有用的 事情，但是可以被用户覆盖重写以便于设置任务（例如初始化类的变量），当设置完成之后，分片的每一个键值对会激发map()方法。因此map()接收到一个键，一个值，以及一个上下文context。使用这个上下文对象，一个map就会存储其输出到缓存中。

请注意，map分片是一个快一个块截取的（例如64kb），每一个快分割成为若干键值对的数据（ SplitLineReader.class干的好事），这是在Mapper.Context.nextKeyValue内部完成的。当map分片被全部处理之后，run()会调用clean()方法。默认的，没有什么会被执行，除非用户重写覆盖他。


map任务：溢写阶段

Spilling phase


正如我们在执行阶段看到的一样，map会使用Mapper.Context.write()将map函数的输出溢写到内存中的环形缓冲区 (MapTask.MapOutputBuffer)。缓冲区的大小是固定的，通过mapreduce.task.io.sort.mb (default: 100MB)指定。
任何时候当这个缓冲区将要充满的时候（mapreduce.map. sort.spill.percent: 默认80% ），溢写将会被执行（这是一个并行过程，使用的是单独的线程，缓冲池还可以继续被写入）。如果溢写线程太慢，而缓冲区又忙了的话，map()就会暂停执行而等待。
溢写线程执行下面的动作：
  1. 创建一个溢写记录SpillRecord 和一个FSOutputStream 文件输出流（本地文件系统）
  2. 内存内排序缓冲中的块：输出的数据会使用快排算法按照partitionIdx, key排序
  3. 排序之后的输出会分割成为分区：每一个分区对应一个reduce
  4. 分区序列化写到本地文件
</div>

来自： http://blog.csdn.net//mrcharles/article/details/50465626

相关经验