Apache Storm 官方文檔 —— 序列化

原文連結    譯者：魏勇

本文闡述了 storm 0.6.0 以上版本的序列化機制。在低于 0.6.0 版本的 storm 中使用了另一種序列化系統，詳細資訊可以參考 serialization (prior to 0.6.0) 一文。

storm 中的 tuple 可以包含任何類型的對象。由于 storm 是一個分布式系統，是以在不同的任務之間傳遞消息時 storm 必須知道怎樣序列化、反序列化消息對象。

storm 使用 kryo 對對象進行序列化。kryo 是一個生成小序列的靈活、快速的序列化庫。

storm 本身支援基礎類型、字元串、位元組數組、arraylist、hashmap、hashset 以及 clojure 的集合類型的序列化。如果你需要在 tuple 中使用其他的對象類型，你就需要注冊一個自定義的序列化器。

在 tuple 中沒有對各個域（field）的直接類型聲明。你需要将對象放入對應的域中，然後 storm 可以動态地實作對象的序列化。在學習序列化接口之前，我們先來了解一下為什麼 storm 的 tuple 是動态類型化的。

為 tuple 的 fields 增加靜态類型會大幅增加 storm 的 api 的複雜度。比如 hadoop 就将它的 key 和 value 都靜态化了，這就要求使用者自己添加大量的注解。使用 hadoop 的 api 非常繁瑣，而相應的“類型安全”并不會為應用帶來多大的好處。相對的，動态類型就非常易于使用。

更進一步而言，也不可能有什麼合理的方法将 storm 的 tuple 的類型靜态化。假如一個 bolt 訂閱了多個 stream，從這些 stream 傳入的 tuple 很可能都帶有不同的類型。在 bolt 的 execute 方法接收到一個 tuple 的時候，這個 tuple 可能來自任何一個 stream，也可能包含各種組合類型。也許你可以使用某種反射機制來為 bolt 訂閱的每個 stream 聲明一個方法類處理 tuple，但是 storm 可以提供一種更簡單、更直接的動态類型機制來解決這個問題。

最後要說明的是，storm 使用動态類型定義的另一個原因就是為了支援 clojure、jruby 這樣的動态類型語言。

前面已經提到，storm 使用 kryo 來處理序列化。如果要實作自定義的序列化生成器，你需要注冊一個新的機遇 kryo 的序列化生成器。強烈建議讀者先仔細閱讀 kryo 首頁 來了解它是怎樣處理自定義的序列化的。

可以通過拓撲的 <code>topology.kryo.register</code> 屬性來添加自定義序列化生成器。該屬性接收一個注冊清單，每個注冊項都可以使用以下兩種注冊格式中的一種格式：

隻有一個待注冊的類的名稱。在這種情況下，storm 會使用 kryo 的 <code>fieldsserializer</code> 來序列化該類。這也許并不一定是該類的最優化方式 —— 可以檢視 kryo 的文檔來了解更多細節内容。

一個包含待注冊的類的名稱和對應的序列化實作類名稱，該序列化實作類實作了 com.esotericsoftware.kryo.serializer接口。

我們來看一個例子：

這裡 <code>com.mycompany.customtype1</code> 和 <code>com.mycompany.customtype3</code> 會使用 <code>fieldsserializer</code>，而<code>com.mycompany.customtype2</code> 則會使用 <code>com.mycompany.serializer.customtype2serializer</code> 來實作序列化。

在拓撲的配置中，storm 提供了用于注冊序列化生成器的選項。config 類有一個 <code>registerserialization</code> 方法可以将序列化生成器注冊到配置中。

config 中有一個更進階的配置項叫做 <code>config.topology_skip_missing_kryo_registrations</code>。如果你将該項設定為 true，storm 會忽略掉所有已注冊但是在拓撲的 classpath 中沒有相應的代碼的序列化器。如果不這麼做，storm 會在無法查找到序列化器的時候抛出錯誤。如果你在叢集中運作有多個拓撲并且每個拓撲都有不同的序列化器，但是你又想要在<code>storm.yaml</code> 中聲明好所有的序列化器，在這種情況下這個配置項會有很大的幫助。

如果 storm 發現了一個沒有注冊序列化器的類型，它會使用 java 自帶的序列化器。如果這個對象無法被 java 序列化器序列化，storm 就會抛出異常。

注意，java 自身的序列化機制非常耗費資源，而且不管在 cpu 的性能上還是在序列化對象的大小上都沒有優勢。強烈建議讀者在生産環境中運作拓撲的時候注冊一個自定義的序列化器。保留 java 的序列化機制主要為了便于設計新拓撲的原型。

你可以通過将 <code>config.topology_fall_back_on_java_serialization</code> 配置為 false 的方式來将序列化器回退到 java 的序列化機制。

storm 0.7.0 支援對特定元件的配置（詳情請參閱storm 的配置一文）。當然，如果某個元件定義了一個序列化器，這個序列化器也需要能夠支援其他的 bolt —— 否則，後續的 bolt 将會無法接收來自該元件的消息！

在拓撲送出的時候，拓撲會選擇一組序列化器用于在所有的元件間傳遞消息。這是通過将特定元件的序列化器注冊資訊與普通的序列化器資訊融合在一起實作的。如果兩個元件為同一個類定義了兩個序列化器，storm 會從中任意選擇一個。

如果在兩個元件的序列化器注冊資訊沖突的時候需要強制使用一個序列化器，可以在拓撲級的配置中定義你想要的序列化器。對于序列化器的注冊資訊，拓撲中配置的值是優先于具體元件的配置的。