Apache Hadoop 1.0.0 支援Kerberos認證, Apache HBase 以及用于HDFS的RESTful API

Apache Hadoop 1.0.0 支援Kerberos認證, Apache HBase 以及用于HDFS的RESTful API

Srini Penchikala 發表于 2012年1月13日

經過六年的醞釀, 開源分布式計算及大資料存儲架構 Apache Hadoop 1.0.0 最近釋出了.新釋出版本的核心功能包括：

    安全(通過Kerberos認證協定的強認證)

    Apache HBase 支援(事務日志的異步和重新整理支援).即使當一個重新整理或同步正在進行時也允許産生新的寫操作到HDFS用戶端.

    包含用于Hadoop分布式檔案系統(HDFS)的RESTful API的Webhdfs.webhdfs作為一個完整檔案系統實作的功能用于通過HTTP通路HDFS。之前的hftp功能是一個隻讀的檔案系統，沒有提供“寫”通路。

    用于HBase的通路本地檔案的性能增強。

新釋出版本中包含的其他特性有一些性能提升、缺陷修改和功能。

InfoQ就1.0.0版本包含的功能和下一版本将包含的功能通路了Apache Hadoop 項目副主席Arun Murthy.

InfoQ:Apache Hadoop 1.0.0 在開發了六年後釋出.為什麼這第一版用了這麼長的時間?

Arun Murthy:Apache Hadoop 已經在好幾個大型企業的生産環境中使用，例如Yahoo、Facebook等等. 1.0.0命名不僅是Apache Hadoop社群的一個聲明，而且這個版本确實是一個成熟的版本，是社群在可預見的未來在不同企業中相容多種使用者執行個體而有信心支援的東西。Apache Hadoop 已經在好幾個大型企業的生産環境中使用，例如Yahoo、Facebook等等. 1.0.0命名不僅是Apache Hadoop社群的一個聲明，而且這個版本确實是一個成熟的版本，是社群在可預見的未來在不同企業中相容多種使用者執行個體而有信心支援的東西。這将增強最終使用者和企業的信心幫助其他企業采用Apache Hadoop.

InfoQ:這個版本在認證條件、通路控制和資料加密方面支援哪種類型的安全功能？

Arun:1.0.0支援強的、端到端的基于Kerberos的認證方式，用于HDFS (存儲檔案系統)和MapReduce (資料處理).Kerberos是在企業環境中十分受歡迎的網絡認證協定.

它也為應用程式和資料提供全部層級的強通路控制.例如, 人們能保證隻有一個确定的個體(或一組使用者)能夠使用運作程式、檢視應用系統日志等等.

InfoQ:你能談談新版本中隊性能提高做了什麼嗎？

Arun:有好幾個增強.一個主要的例子是我們為像Apache HBase這樣的應用程式所做的本地讀優化，這提供了相當大的提高 (執行個體确認有2倍).

InfoQ:下一版本的Hadoop你計劃加入什麼新功能？

Arun:Apache Hadoop下一個主要版本目前在alpha階段，預期在2012年中釋出.一些主要的亮點是:

    HDFS (檔案系統)的高可用 - 解決這個檔案系統的SPOF問題.

    HDFS集合可提高檔案名稱系統允許的大叢集的規模至少4x-5x的增長 (包含叢集中的節點和名稱系統).

    下一代MapReduce (aka YARN)将把Hadoop從僅支援MapReduce應用變為一個通用型的、分布式計算結構，包含多種執行個體如MapReduce, 消息傳遞接口(MPI),疊代程式設計等等. 能夠同時被相同的Hadoop叢集所支援.這也允許Hadoop支援更巨大的叢集(6000 - 10000 節點)和為compute fabric提供高可用支援.

Arun同時說他們認為Apache Hadoop的下一版采用了許多企業級功能，極大的提升了Hadoop，例如企業中的高可用和允許Hadoop在很多種類的使用者環境中(例如下一代MR aka YARN).