天天看點

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

接下來我們就可以駕着hadoop這艘巨輪在大資料的海洋中遨遊了。工欲善其事,必先利其器。是的,沒錯;我們開發需要有開發工具(ide);本篇文章,

  hadoop2x-eclipse-plugin:這個插件,本地單元測試或自己做學術研究比較好用

  插件下載下傳位址:https://github.com/smartdengjie/hadoop2x-eclipse-plugin

  由于jboss developer studio 8基本适合于retina屏,是以,我們這裡直接使用jboss developer studio 8,jboss developer studio 7對retina屏的支援不是很完美,這裡就不贅述了。

  附上一張ide的截圖:

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  下面我們開始安裝插件,首先展示首次打開的界面,如下圖所示:

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  然後,我們到上面給的github的位址,clone整個工程,裡面有編譯好的jar和源碼,可自行選擇(使用已存在的和自己編譯對應的版本),這裡我直接使用編譯好的版本。我們将jar放到ide的plugins目錄下,如下圖所示:

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  接着,我們重新開機ide,界面出現如下圖所示的,即表示插件添加成功,若沒有,檢視ide的啟動日志,根據異常日志定位出原因。

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結
高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  配置資訊如下所示(已在圖中說明):

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結
高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  添加本地的hadoop源碼目錄:

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  到這裡,ide和插件的搭建就完成了,下面我們進入一段簡單的開發,hadoop的源碼中提供了許多example讓我學習,這裡我以wordcount為例子來說明:

  首先我們看下hadoop的源碼檔案目錄,如下圖所示:

高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結
高可用Hadoop平台-啟航1.概述2.啟航3.WordCount4.總結

  這篇文章就和大家分享到這裡,如果在研究的過程有什麼問題,可以加群讨論或發送郵件給我,我會盡我所能為您解答,與君共勉!