hadoop整體結構圖及服務元件詳解

hadoop服務元件簡單解釋

1、core  分布式系統和通用io元件和接口（序列化、java遠端調用等等服務）

2、avro  支援跨語言過程調用，持久資料存儲的資料序列化系統

3、mapreduce  建構在廉價的pc機器上分布式資料處理模型和運作環境

4、hdfs  建構廉價的pc機器上分布式檔案系統

5、pig  處理海量資料集的資料流語言和運作環境 ，pig運作在hdfs和mapreduce之上

6、hbase  分布式面向列的資料庫 ，hbase使用hdfs作為底層存儲， 同時使用mapreduce支援批處理模式的計算機和随機查詢

7、 zookeeper  提供分布式、高效的協作服務以及分布式鎖這樣的原子操作、可以用來建構分布式應用

8、hive  分布式資料倉庫 、 hive使用hdfs存儲資料，提供類似sql的語句（轉換為mapreduce任務） 查詢資料

9、chukwa  分布式資料采集和分析系統  、 使用hdfs 存儲資料 、 使用mapreduce輸出分析報告