公众号开发是前端还是后端,360网站seo,阿里企业邮箱免费版怎么申请,帮助中心网站怎么做1、mapreduce工作流程(终极版)
0. 任务提交
1. 拆-split逻辑切片--任务切分。 FileInputFormat--split切片计算工具 FileSplit--单个计算任务的数据范围。
2. 获得split信息和个数。
MapTask阶段
1. 读取split范围内的数据。k(偏移量)-v(行数据) 关键API#xff1a;TextI…
1、mapreduce工作流程(终极版)
0. 任务提交
1. 拆-split逻辑切片--任务切分。 FileInputFormat--split切片计算工具 FileSplit--单个计算任务的数据范围。
2. 获得split信息和个数。
MapTask阶段
1. 读取split范围内的数据。k(偏移量)-v(行数据) 关键APITextInputFormat。
2. 循环调用mapper.map(k,v) 关键代码 while(xx.next){ mapper.map(k,v); }
3. mapper.map执行完毕后输出k-v调用k-v的分区计算 Partitioner.getPartition(k,v,reduceTask数量)--分区号。
4. 将输出k-v{分区号}存入临时缓冲区。环形缓冲区。 MapOutputBuffer--环形缓冲区。
5. 如果缓冲区写满80%(mapper代码执行完毕)触发spill溢写过程。 ① 读取k-v{分区号}对溢写范围内的数据进行排序。 ② 存放到本地磁盘文件中产生分区内的溢写文件。
6. 溢写完毕后产生多个溢写文件 ① 将多个溢写文件合并成1个有序---归并排序。 ② combiner(分区 合并 调用reducer--局部reduce操作)【如果开启】
结果 每个MapTask执行完毕后本地磁盘每个分区(目录)内只有一个文件。(Key有序) ReduceTask阶段
1. 从各个MapTask节点下载对应分区的结果文件。 MapTask(分区0文件) MapTask(分区0文件)→ ReduceTask-0 MapTask(分区0文件)
2. merge操作 ① 排序 ② 按照key分组 ③ 将key相同的多个value---[v,v,v,v]
3. 循环调用Reducer.reduce方法处理数据 while(xxx){ reducer.reduce(k,vs); }
4. reducer.reduce输出key-value将数据写入HDFS中。 TextOutputForamt 格式化数据的工具类 FileOutputFormat 指定输出HDFS的路径位置。 整个过程简述
任务提交根据文件大小切分Split逻辑切片一个逻辑切分会启动一个Maptesk任务Maptask会循环读取block块上的数据输出key和value然后进行分区计算将输出的k、v存入临时缓冲区缓冲区写满80%后会产生溢写文件多个然后将不同分区的多个溢写文件合并为一个溢写文件作为该阶段的输出文件。通过网络传输进入reduceTesk阶段将不同split逻辑切分中的相同的分区号文件进行合并为一个文件merge操作作为reduceeTesk的输入文件循环调用Reducer.reduce方法执行任务将数据写入HDFS中。 2、Spill溢写过程详解 发生在MapReduce过程中的排序
第一次: MapTask阶段环形缓冲区开始spill溢写缓冲区每次溢写发生一轮排序。 快排排序
第二次: Maptask多次溢写产生的多个溢写文件(单个文件每部k有序)要做归并排序maptask每个分区内只保留1个文件(key有序) 归并排序
第三次: ReduceTask-0 汇总多个MapTask的(对应分区-0)结果文件归并排序
3、Shuffle过程详解
简言站在数据的角度来讲数据从Mapper.map方法离开一直到数据进入Reducer.reduce方法中间的过程。
Mapper阶段
2. 循环调用mapper.map(k,v) 关键代码 while(xx.next){ mapper.map(k,v); }
3. mapper.map执行完毕后输出k-v调用k-v的分区计算 Partitioner.getPartition(k,v,reduceTask数量)--分区号。
4. 将输出k-v{分区号}存入临时缓冲区。环形缓冲区。 MapOutputBuffer--环形缓冲区。
5. 如果缓冲区写满80%(mapper代码执行完毕)触发spill溢写过程。 ① 读取k-v{分区号}对溢写范围内的数据进行排序。 ② 存放到本地磁盘文件中产生分区内的溢写文件。
ReduceTask阶段
1. 从各个MapTask节点下载对应分区的结果文件。 MapTask(分区0文件) MapTask(分区0文件)→ ReduceTask-0 MapTask(分区0文件)
2. merge操作 ① 排序 ② 按照key分组 ③ 将key相同的多个value---[v,v,v,v]
3. 循环调用Reducer.reduce方法处理数据 while(xxx){ reducer.reduce(k,vs); }
