DIY Hadoop大資料環境的5大陷阱

雖然hadoop可以運作在廉價的商品計算機硬體，且使用者很容易添加節點，但是它有一些細節是很昂貴的，尤其是你在生産環境中運作hadoop。

diy hadoop大資料環境的5大陷阱

甲骨文公司大資料産品經理jean-pierre dijck稱：“it部門認為‘我已經有伺服器，我還可以買到便宜的伺服器，我也有人員，是以我們不用花多少錢就可以建構自己的hadoop叢集’，這當然是一件好事，但是it部門在部署時會發現這裡會有很多他們沒有預料到的額外開銷。”

dijcks列舉了it上司在diy hadoop叢集時的5個常見錯誤：

1.他們試圖以廉價的方式建構hadoop

很多it部門不清楚hadoop叢集應該完成什麼使命(除了分析某些類型的資料)，是以他們會購買盡可能便宜的伺服器。

“hadoop被認為是可自愈的，是以當伺服器的一個節點出現故障，構不成大問題，”dijcks稱，“但如果你購買廉價的伺服器，很多節點出現故障那麼你就要花更多時間來修複硬體，如果一大堆節點都不運作了，這就會造成大問題。”

如果你的hadoop叢集隻是實驗，那麼以上這些可能不是問題。然而，很多實驗性項目通常最後都會進入生産環境。it部門認為，“我們已經投入了大量的時間，我們已經做了很多工作，現在我們需要将其投入生産，”dijcks說道，“在實驗期間，如果環境出現問題，隻要重新啟動即可，但在生産環境，叢集需要能夠抵禦硬體故障、人為互動故障以及任何可能發生的事情。”

forrester公司在其2016年第二季度報告“大資料hadoop優化系統”中指出，我們需要大量時間和精力用于安裝、配置、調試、更新和監控通用hadoop平台的基礎設施，而預配置hadoop優化系統可提供更快的時間價值、降低成本、最小化管理工作以及子產品化擴充功能。

2.太多“廚師”

大多數it部門将自己分為軟體、硬體和網絡組，而hadoop叢集跨越了這些分組，是以diy hadoop叢集最終會成為很多有說服力的“廚師”的産物。

dijcks稱：“在這種情況中，你有一個食譜來參考，但負責不同領域的人并不會完全遵循食譜，因為他們喜歡與食譜要求略有不同的做法。“是以最終，hadoop叢集不會按照預期那樣運作。

在進行故障排除後，系統應該能夠啟動以及讓it營運人員在生産環境中運作，但dijcks稱：“這是另一個學習曲線開始的地方，他們可能不熟悉hadoop叢集，你會看到很多人為錯誤、停機時間等一系列問題。”

3.他們沒有意識到hadoop diy項目是特洛伊木馬

在hadoop叢集轉移到生産環境後，企業通常會發現他們需要安排專門的從業人員來保持其運作。dijcks稱：“當然，這個從業人員的大部分時間花費在維護上，而不是創新。”此外，這名從業人員還需要了解hadoop系統。

他警告道：“你不能期望人們在很短時間内變成hadoop專家。”即使你雇傭經驗豐富的從業人員，但it環境差異性很大--diy hadoop叢集元件也是如此。是以，在你特定環境中的所有配置、連接配接和互相關系都需要花時間來了解。

他們低估了更新的複雜性和頻率

新版hadoop(例如來自cloudera和hortonworks)每三個月釋出一次，這些通常包含新特性、新功能、更新、漏洞修複等。

“除了保持hadoop叢集運作所需的所有人類操作外，每三個月都會有新的更新版本，”dijcks稱，“你完成更新的那一刻，你必須開始規劃下一次更新。這相當複雜，是以有些人開始跳過更新。”即使你跳過幾次更新，最終你還是會需要更新，例如從5.4更新到5.7。

雖然cloudera和hortonworks會嘗試測試盡可能多的場景，“他們不能測試你特定作業系統版本或者對特定工作操作的影響，”dijcks稱，“你的環境可能有思科路由器或者red hat作業系統或者ibm硬體，同時，如果這個叢集正用于大資料生産項目，而你需要更新時，就有可能會制造出明顯的停機時間。”

他們沒有準備好應對安全挑戰

在hadoop早期，安全沒有被視為一個大問題，因為叢集仍位于防火牆後面。而現在，安全已經成為最大的問題。

目前kerberos身份驗證已經内置到hadoop來解決這些問題，但有些it企業不知道如何處理此協定，“整合kerberos到企業的active directory非常複雜，”他表示，“你需要在active directory和一系列元件之間進行非常多內建工作。且這方面的文檔非常少，最要命的是這涉及到安全管理者和it其他團隊，這些人員幾乎是使用完全不同的語言。”

有些it部門最終會與cloudera、hortonworks或其他第三方簽署合同以保護他們的diy hadoop叢集。“這需要一些時間才能完成設定、測試等工作，”dijcks稱，“然後每過三個月，你都需要重新做一次，以確定應用和配置等一切的正常運作。”

本文轉自d1net（轉載）