大資料測試之hadoop系統生态

   poptest是國内唯一一家培養測試開發工程師的教育訓練機構，以學員能勝任自動化測試，性能測試，測試工具開發等工作為目标，也是國内最早探索大資料測試教育訓練的機構，開發了獨有的課程體系。如果對課程感興趣，請大家咨詢qq：908821478，咨詢電話[phone]。

MapReduce:分布式資料處理模型和執行環境、運作于大型商用機叢集。

ZooKeeper:一個分布式、高可用的協調服務。ZooKeeper提供分布式鎖之類的基本服務用于建構分布式應用。

HDFS:   分布式檔案系統，運作于大型商用機叢集。 Hadoop體系最底層的一個子產品。為Hadoop各子項目提供各種工具，如：配置檔案和日志操作等。

HBase: 一個分布式、按列存儲的資料庫。HBase 使用 HDFS作為底層存儲，同時支援 MapReduce 的批量式計算和點查詢（随機讀取）。

Pig:一種資料流語言和運作環境，用以檢索非常大的資料集。Pig 運作在MapReduce 和 HDFS 的叢集上。

Hive:一個分布式、按列存儲的資料倉庫。 Hive 管理 HDFS中存儲的資料，并提供基于 SQL 的查詢語言（由運作時引擎翻譯成 MapReduce作業）用以查詢資料。

Avro:支援高效、跨語言的 RPC以及永久存儲資料的序列化實作，主要負責資料的序列化。

Mahout：一個可擴充的機器學習和資料挖掘

轉載于:https://www.cnblogs.com/poptest/p/4975208.html