MapReduce任务是多进程单线程模式验证

一、验证MapReduce任务是多进程的 

1. 实现MyMapper代码，Reducer可相同处理。如下：

package com.mapreduce; import java.io.IOException; import java.lang.management.ManagementFactory; import java.lang.management.RuntimeMXBean; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; public class MyMapper extends Mapper<LongWritable, Text, Text, Text> { //全局计数 private static int map_index = 0; @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { System.out.println("map_index： " + (++map_index)); //获取进程信息 RuntimeMXBean runtime = ManagementFactory.getRuntimeMXBean(); String name = runtime.getName(); System.out.println("Current Process: " + name + "--" + name.substring(0, name.indexOf("@"))); //获取线程信息 System.out.println("Current Thread: " + Thread.currentThread().getId() + "-" + Thread.currentThread().getName()); //获取当前类MyMapper信息 System.out.println("Current Mapper: " + this.toString()); context.write(new Text(""), new Text("")); } }

2. map输入文件夹下存放两个文件，以开启两个map任务。每个文件中有3行数据，两个文件共6行。

3. 假设：如果map任务是单进程的，那么开启的2个map任务为多线程，此时两个线程可以共享该进程的内存资源，运行输出将是进程名相同，线程不同，Mapper对象不同，全局计数map_index应为1，2，3，4，5，6。但事实上结果并非如此。如下：

第一个Map任务的输出日志： map_index： 1 Current Process: 6717@slave1--6717 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@5f3b9c57 map_index： 2 Current Process: 6717@slave1--6717 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@5f3b9c57 map_index： 3 Current Process: 6717@slave1--6717 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@5f3b9c57 第二个Map任务的输出日志： map_index： 1 Current Process: 6728@slave1--6728 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@1e044120 map_index： 2 Current Process: 6728@slave1--6728 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@1e044120 map_index： 3 Current Process: 6728@slave1--6728 Current Thread: 1-main Current Mapper: com.etl.mapreduce.ClickStreamMapper@1e044120

4.事实：可以看出，第一个Map任务所属进程IP为6717，第二个Map任务所属进程ID为6728，显然进程不同；两个任务的线程都为main主线程，也就是单线程模式；两个Map对象地址也不同；最后map_index均从1，2，3计数，并未达到预期的4，5，6。所以，得出结论：MapReduce任务是多进程单线程模式的。

二、扩展阅读

1.MapReduce多进程和spark多线程

2.Mapreduce中使用多线程的问题