天天看點

釋出Apache Hadoop 2.6.0——異構存儲,長時間運作的服務與滾動更新支援釋出Apache Hadoop 2.6.0——異構存儲,長時間運作的服務與滾動更新支援

特别是,我們很高興在此版本中相關的三個主要片:異構存儲在HDFS使用SSD和記憶體層,支援長時間運作在YARN服務和滾動更新,将更新您的叢集軟體,然後重新啟動更新的節點而無需關閉群集或丢失正在進行的工作。YARN作為其架構中心,Hadoop的不斷吸引新的引擎在資料平台中運作,作為組織想要在一個單一的存儲庫高效地存儲資料,并與它同時以不同的方式進行互動。

非常感謝所有的貢獻者和送出這些人所合作過這個版本,共有近900個 JIRA問題在四個方面解決的:

•Hadoop通用:231個 JIRA問題解決

•Hadoop的HDFS:305個 JIRA問題解決

•Hadoop的YARN:290個 JIRA問題解決

•Hadoop的MapReduce的:70個 JIRA問題解決

釋出Apache Hadoop 2.6.0——異構存儲,長時間運作的服務與滾動更新支援釋出Apache Hadoop 2.6.0——異構存儲,長時間運作的服務與滾動更新支援

加強支援異構存儲層的HDFS

管理者可以在一個限定的Datanode跨磁盤存儲層,以及應用程式可利用的API将資料存儲到這些不同的存儲層。這意味着管理者可以優化他們的應用程式通過使用Hadoop運作:

•在SSD存儲層以提高讀/寫延遲

•記憶體存儲層進行快速讀/寫要麼臨時資料或故障的應用程式(如星火,TEZ等)

•歸檔存儲層,以提高存儲效率。

支援長時間運作的服務在YARN

Apache Hadoop2.6.0包括增強了核心Apache Hadoop YARN平台,使長期存在的服務(如Apache Storm,Apache Samza,Apache Kafka或Apache HBase),可以在YARN中運作,并充分利用其優勢的容錯,安全性和易維護性。

Apache Hadoop最初架構,支援批量處理資料。但有些應用“永遠線上”,随時準備處理輸入資料。例如,Apache  Storm必須準備在一天中的任何時間實時處理資料流,在一年中的任何一天。

用Hadoop2.6.0,叢集現在可以利用相同的基礎設施安排,執行和管理所有期限的多個工作負載。長住服務,如 Storm和HBase可以和平共處的一起是在特定的時間點(如Apache Hive或Apache Pig),用于特設工作應用程式。

滾動更新在YARN工作,保留重新啟動

新的工作,維護重新開機功能可以讓應用程式保持其完成和正在進行的國家,在一個節點故障或重新開機的臉。 YARN現在可以提供滾動以最小的服務品質下降用于運作應用程式的更新支援。已完成或正在進行中的應用工作節點重新開機過程中保持不變,進度回升,而不必從頭開始重新啟動所有任務。

在ApacheHadoop社群開展的其他重要活動有:

非常感謝大家誰促成了這一版本,和整個Apache  Hadoop社群。