天天看點

Hadoop生态系統--序言

        對Hadoop生态系統學習及實踐有很長一段時間了,最早接觸Hadoop生态系統是在2010年年底,那時正在為公司一個項目研究搜尋引擎,最後標明nutch搜尋引擎作為研究對象,在研究nutch的過程中就與Hadoop結下了不解之緣。

       在實踐hadoop過程中,遇到過很多問題,也迷茫過,不知道hadoop生态系統到底應用在那些業務場景中?不知道在衆多的版本中到底采用哪個版本?不知道Hadoop生态系統對硬體的要求是什麼?不知道hadoop叢集硬體及軟體到底要怎麼規劃?不知道怎麼去調優Hadoop叢集?不知道Hadoop叢集上線後怎麼運維維護?等等一系列問題困擾着我。

      我帶着這些問題,不斷在網上找一些相關的資料,但網上的資料比較零散,不能系統幫助我,也參加過一些hadoop生态系統的教育訓練,交流會議,請教網友,走了不少彎路,最後慢慢的走上了Hadoop這條路。

      最近想整理下hadoop生态系統的知識結構,也同時鞏固下自己對Hadoop的認識,想把自己學習過的資料,整理一些博文跟網友分享下,我會先整理一個目錄結構,之後按目錄結構不斷分享Hadoop生态系統相關的知識,到時有不正确的,望大牛指出。