天天看點

0基礎搭建Hadoop大資料處理-環境

 由于Hadoop需要運作在Linux環境中,而且是分布式的,是以個人學習隻能裝虛拟機,本文都以VMware Workstation為準,安裝CentOS7,具體的安裝此處不作過多介紹,隻作需要用到的知識介紹。

  VMware的安裝,裝好一個虛拟機後利用複制虛拟機的方式建立後面幾個虛拟機,省時省力,需要注意的是需要修改每個虛拟機的IP與主機名。

  所有虛拟機采用NAT模式上網,而且要保證與實體主機的IP互相能通路。

  需要注意的幾個問題。nat如果上網首先需要檢視實體機(pc機)這個伺服器已經啟動。上網的原理:流量是走的實體網卡,但是它的ip,卻是和實體機沒有關系的。也就是說,無論你怎麼更換網絡環境,你的虛拟機都不需要做改變。這就是它的優點。

0基礎搭建Hadoop大資料處理-環境

  首先在安裝VMware 之後,我們會看到多了兩個網卡

0基礎搭建Hadoop大資料處理-環境

這個如果經過網絡配置的折磨,應該能找到着兩個網卡:vmnet1和vmnet8,這裡講的是vmnet8。

0基礎搭建Hadoop大資料處理-環境

  重點看右側第三圖你會看到ip位址,這個ip位址,因個人而異,也就是說不同網絡,不同環境,這個ip變化的機率是很大的。可能是192.168.0.1等等。這裡也相當于我們程式設計的一個變量,這裡是需要你根據你的環境來指派的,建議vmnet1到vmnet8分别設定192.168.10.1到192.168.80.1,好作區分。

  上面我們通過看到的虛拟機網卡的ip,為了避免混肴,上面的虛拟網卡和本地網絡擴充卡處于同一界面。如下圖

0基礎搭建Hadoop大資料處理-環境

  而下面則是在打開虛拟機之後,通過菜單彈出

0基礎搭建Hadoop大資料處理-環境

  彈出之後,我們在看一下虛拟機的(交換機)vmnet8.

0基礎搭建Hadoop大資料處理-環境

可以看到vmnet8子網ip和虛拟機網卡是出于同一個網段的。

同時在右側net設定界面,我們可以看到網關為:192.168.106.2,改成192.168.80.2 虛拟機的設定會用到。

  Linux的學習也是一個過程,因為可能你連最簡單的開機和關機指令都不會,更不要談配置網絡。這裡面給大家提供剛開始學習所查閱的資料和經驗總結。

首先我們需要使用一些指令,進行網絡配置,但是在網絡配置中,這裡面又必須懂得虛拟機的一些知識,是以前面的虛拟機知識需要掌握紮實一些。

  在此注意CentOS7與CentOS6的指令有些不同,會一些常用指令是必備,每次開機或啟動解壓安裝授權都是最基本的知識,其它的可以暫時不用學。

  下載下傳對應32或64位jdk,設定好JDK環境變量PATH,具體的配置可自行Google。

  修改機器名,每個系統中都要修改成這樣。

  打開終端,切換到root使用者下修改機器名稱。

$ sudo su $ vim /etc/sysconfig/network 在其中添加“HOSTNAME=H32”

   添加每個伺服器IP對應的機器名

   三個ip位址都添加到各自的/etc/hosts檔案中

   每個系統中都要修改成這樣

0基礎搭建Hadoop大資料處理-環境

  進入H30,檢視ssh是否安裝,如果有,繼續,沒有安裝下。

0基礎搭建Hadoop大資料處理-環境

  關于ssh的安裝參考 :

<a href="http://www.cnblogs.com/zhangs1986/p/6707470.html">  如何實作兩台伺服器間無密碼的傳輸資料和操作</a>

  這裡需要安裝時間伺服器,其他的伺服器通過這個來進行多機器時間的同步,分布式部署時機器時間不一緻會導緻資料錯誤或元件内通訊錯誤。

  httpd是Apache超文本傳輸協定(HTTP)伺服器的主程式。被設計為一個獨立運作的背景程序,它會建立一個處理請求的子程序或線程的池。

  下載下傳Centos 7.2 的iso安裝鏡像,jdk1.8 for Linux壓縮包,hadoop2.7.3壓縮包(本來用hadoop3,發現後面不相容hive的最新版本)

  由于Hadoop架構源碼都是以java來寫,是以最好都以java作為開發的最佳語言,雖然說有些用C#做了封裝,但性能已大打折扣。(這就是為什麼說Java的學大資料有很大的優勢,其它語言的還需要重新學習Java)

Eclipse IDE使用

Linux和Windows下源碼編譯技術

  還有最重要的是你的網速要好,因為安裝過程中會下載下傳依賴包,網不好會卡到你懷疑人生。

  最後還需要有耐心,每台機子的環境都不一樣,而且每個人下載下傳的包的版本也有可能不一樣 會導緻各種問題,此時就需要耐心的去看日志,不停的嘗試和仔細的對比安裝步驟,可能就是少了個變量 或大小寫錯誤或是要重新開機。

  環境準備就這麼多,下一章開始講如何安裝Hadoop叢集。

本文轉自歡醉部落格園部落格,原文連結http://www.cnblogs.com/zhangs1986/p/6798540.html如需轉載請自行聯系原作者

歡醉