Hadoop2源码分析－序列化篇1.概述2.序列化的由来3.Hadoop序列化依赖图详解4.Writable常用实现类5.总结6.结束语

　　上一篇我们了解了MapReduce的相关流程，包含MapReduce V2的重构思路，新的设计架构，与MapReduce V1的区别等内容，今天我们在来学习下在Hadoop V2中的序列化的相关内容，其目录如下所示：

序列化的由来

Hadoop序列化依赖图详解

Writable常用实现类

　　下面，我们开始学习今天的内容。

　　我们知道Java语言对序列化提供了非常友好的支持，在定义一个类时，如果我们需要序列化一个类，只需要实现该类的序列化接口即可。场景：让一个AppInfo类能够被序列化，代码如下所示：

<a></a>

　　这么定义，不需要其他的操作，Java会自动的处理各种对象关系。虽然，Java的序列化接口易于实现且内建支持，同样，它的不足之处也是暴露无遗，它占用空间过大，额外的开销导致速度降低。这些缺点对于Hadoop来说是不合适的，导致Hadoop没有采用Java自身的序列化机制，而是Hadoop自己开发了一套适合自己的序列化机制。

　　由于 Hadoop 的 MapReduce 和 HDFS 都有通信的需求,需要对通信的对象进行序列化。而且，Hadoop本身需要序列化速度要快，体积要小，占用带宽低等要求。因此，了解Hadoop的序列化过程是很有必要的，下面我们对Hadoop的序列化内容做进一步学习研究。

　　注：本文不对Java的Serializable接口做详细赘述，若需了解 ，请参考官方文档：http://docs.oracle.com/javase/7/docs/api/java/io/Serializable.html

　　在Hadoop的序列化机制中，org.apache.hadoop.io 中定义了大量的可序列化对象,他们都实现了 Writable 接口，Writable接口中有两个方法，如下所示：

write：将对象写入字节流。

readFields：从字节流中解析出对象。

　　Writeable源码如下所示：

　　下面我们来看看Hadoop序列化的依赖图关系，如下图所示：

　　从上图我们可以看出，WritableComparable接口同时继承了Writable和Comparable接口。

　　WritableComparable源码如下所示：

　　接着我们再来看看Comparable的源码，代码如下所示：

　　通过源码的阅读，我们可以发现，Java的API提供的Comparable接口，它只有一个方法，就是compareTo，该方法用于比较两个对象。

　　上图中列举了Hadoop序列化接口中的所有类型，这里我们主要研究一些常用的实现类，如IntWriteable，Text，LongWriteable等。

　　首先我们来看看IntWriteable和LongWriteable的源码，具体代码如下所示：

IntWriteable

LongWritable

　　从源码IntWritable和LongWriteable中可以看到，两个类中都包含内部类Comparator，该类的作用是用来支持在没有反序列化的情况下直接对数据进行处理。源码中的compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2)方法不需要创建IntWritable对象，效率比compareTo(Object o)高。

Text

　　Text的源码大约有670多行，这里就不贴了，若大家要阅读详细的Text源码，请在Hadoop的org.apache.hadoop.io的包下，找到Text类进行阅读，下面只截取Text的部分源码，部分源码如下：

　　从源码中看出，Text继承类BinaryComparable基类，并实现了WritableComparable&lt;BinaryComparable&gt;接口，WritableComparable在上面已赘述过了，下面我们来分析一下BinaryComparable，首先我们来查看一下BinaryComparable的源码，部分源码如下所示：

　　我们发现BinaryComparable（实现了Comparable接口）是一个抽象类，由该抽象类的子类去实现了Hadoop二进制的序列化。该抽象类中有两个compareTo方法，代码如下所示：

　　从代码中，我们可以看出，两个compareTo方法中依赖WritableComparator的静态方法compareBytes来完成二进制数据的比较。另外，从Text类的注视中可以看出，Text是基于UTF-8编码的Writeable类，注视内容如下所示：

　　一般来说，在开发Hadoop项目时，我们认为它等价于Java的String类型，即java.lang.String。

　　通过本篇博客的学习，我们对Hadoop的序列化有了较深的认识，对IntWriteable，LongWriteable，Text等实现类也有所了解，这对我们在经后开发Hadoop项目，编写相应的MR作业是有所帮助的。在类型的选择上，我们是可以做到心中有数的。

　　这篇博客就和大家分享到这里，如果大家在研究学习的过程当中有什么问题，可以加群进行讨论或发送邮件给我，我会尽我所能为您解答，与君共勉！

<b></b><b></b><b></b><b></b>

联系方式： 

邮箱：[email protected] 

温馨提示：请大家加群的时候写上加群理由（姓名＋公司/学校），方便管理员审核，谢谢！