MapReduce中的InputFormat（1）概述

1 概念 InputFormat用于描述输入数据的格式，提供以下两个功能： A、数据切分：按照某种策略将输入的数据切分成若干split，以便确定Map Task个数，以及对应的Split。 B、提供数据：为Mapper提供输入数据，对于给定split，能将其解析为<k,v>格式。即<K1,V1>。

2 新老版本

老版本：package org.apache.hadoop.mapred

public interface InputFormat<K, V> { InputSplit[] getSplits(JobConf job, int numSplits) throws IOException; RecordReader<K, V> getRecordReader(InputSplit split,JobConf job, Reporter reporter) throws IOException; }新版本：package org.apache.hadoop.mapreduce

public abstract class InputFormat<K, V> { public abstract List<InputSplit> getSplits(JobContext context) throws IOException, InterruptedException; public abstract RecordReader<K,V> createRecordReader(InputSplit split, TaskAttemptContext context) throws IOException,InterruptedException; } 3 解析 3.1 设计思想 所有基于文件的InputFormat的实现基类都是FileInputFormat。 针对文本格式：TextInputFormat、KeyValueTextInputFormat、NLineInputFormat 针对二进制格式：SequenceFileInputFormat

基于文件的FileInputFormat的设计思想是：

A 由公共基类FileInputFormat采用统一的方法，对文件进行切分成InputSplit（如按照统一的大小）。getSplit方法。 B 由各个派生类根据自己的需求，解析InputSplit。即各个子类实现的createRecordReader方法。

3.2 getSplits

主要完成数据切分的功能，它会尝试着将输入数据切分为numSplit个inputSplit。有以下两个特点： A、逻辑分片：inputSplit只记录分片的元信息。 B、可序列化：为了进程间通信。 在Hadoop1.X在JobClient的中writeNewSplits方法使用了getSplits。

// 通过反射获得设置的inputFormat.class的inputFormat对象 InputFormat<?, ?> input = ReflectionUtils.newInstance(job.getInputFormatClass(), conf); // 获取逻辑分片信息 List<InputSplit> splits = input.getSplits(job); 3.3 getRecordReader 该方法返回一个RecordReader对象，它实现了类似迭代器的功能，将某个split解析为一个个<k,v>对。该类需要考虑以下两点： A、定位边界记录：为了识别一条完整的记录，记录之间要加上一些同步标志。 对于TextInputFormat：同步标识就是换行符。 对于SequenceFileInputFormat：每隔离若干条记录，会添加固定长度同步字符串。 B、解析<k,v>：定位到一条记录后，需要将该记录分解为key和value两部分。 对于TextInputFormat：key就是该行在文件的中的偏移量，value就是该行的内容。 对于SequenceFileInputFormat： 每条记录的格式为[record length] [key length] [key] [value]。 前两个字段分别是整条记录的长度和key的长度，均为4个字节，后半部分分别是key和value的内容。知道每条记录的格式后，很容易解析。 整理自董西成老师的《Hadoop技术内幕》，并阅读源码小有体会。