MapReduce-Shuffle过程

从map()的输出到reduce()的输入，中间的过程被称为shuffle过程。

map side

1. 在写入磁盘之前，会先写入环形缓冲区(circular memory buffer)，默认100M(mapreduce.task.io.sort.mb可修改)，当缓冲区内容达到
   80M(mapreduce.map.sort.spill.percent可修改)，缓冲区内容会被溢写到磁盘，形成一个spill file文件。

2. 分区：在写入磁盘之前，会先进分区(partition)，而partition的数量是由reducer的数量决定的。

   job.setNumReduceTasks(2);

默认是用map输出的<key,value>中key的hashcode对NumReduceTasks的个数取余，相同的分到一个区。

3. 排序：在每一个partition中，都会有一个sort by key。

4. combiner：如果有combiner function，在sort之后会执行combiner，相当于map阶段的rudece 【满足数学运算的交换律和结合律】。

5. merge：数个spill files会合并（merge成一个分过区的排过序的文件）。

6. compress：压缩the map output。

   mapreduce.task.io.sort.factor 一次性合并小文件的数量 默认10个

   mapreduce.map.output.compress 启用压缩，默认是false

   org.apache.hadoop.io.compress.DefaultCodec 默认使用的压缩算法

reduce side

1. 解压缩: 如果在map side 已经压缩过，在合并排序之前要先进行解压缩。
2. sort phase(merge)。
3. group phase: 将相同key的value分到一组，形成一个集合。
   

赏

×

纯属好玩

扫码打赏，你说多少就多少

打开支付宝扫一扫，即可进行扫码打赏哦