Avro （数据序列化） 基础概念

Avro

数据序列化的系统。   新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。 它可以提供： 1 丰富的数据结构类型 2 快速可压缩的二进制数据形式 3 存储持久数据的文件容器 4  远程过程调用RPC 5 简单的 动态语言结合功能，Avro和动态语言结合后，读写数据文件和使用RPC协议都不需要生成代码，而 代码生成作为一种可选的优化只值得在静态类型语言中实现。 Avro依赖于模式(Schema)。Avro数据的读写操作是很频繁的，而这些操作都需要使用模式，这样就减少写入每个数据资料的开销，使得序列化快速而又轻巧。这种数据及其模式的自我描述方便于动态 脚本语言的使用。 当Avro数据存储到文件中时，它的模式也随之存储，这样任何程序都可以对文件进行处理。如果需要以不同的模式读取数据，这也很容易解决，因为两个模式都是已知的。 当在RPC中使用Avro时，服务器和客户端可以在握手连接时交换模式。服务器和客户端有着彼此全部的模式，因此相同命名字段、缺失字段和多余字段等信息之间通信中需要解决的一致性问题就可以容易解决 还有，Avro模式是用JSON（一种轻量级的数据交换模式）定义的，这样对于已经拥有JSON库的语言可以容易实现。 Avro提供着如Thrift和Protocol Buffers等系统相似的功能，但是在一些基础方面还是有区别的，主要是： 1 动态类型：Avro并不需要生成代码，模式和数据存放在一起，而模式使得整个数据的处理过程并不生成代码、静态数据类型等等。这方便了 数据处理系统和语言的构造。 2 未标记的数据：由于读取数据的时候模式是已知的，那么需要和数据一起编码的类型信息就很少了，这样序列化的规模也就小了。 3 不需要用户指定字段号：即使模式改变，处理数据时新旧模式都是已知的，所以通过使用字段名称可以解决差异问题。 [1]