Hadoop學習準備工作 - Centos 7 系統安裝與配置

一、 VMware安裝

    虛拟機版本：VMware® Workstation 14 Pro。安裝過程略。

二、 CentOS安裝

1.  CentOS下載下傳

    打開官網連結：

 centos首頁面提供了多種類型的鏡像檔案的下載下傳連結。

 鏡像檔案類型說明：

 DVD ISO：普通CD光牒完整安裝版鏡像，可離線安裝到計算機硬碟上，包含大量的常用軟體，一般選擇這種鏡像類型即可。

 Everything ISO：包含了完整安裝版的内容，并對其進行補充，內建了所有軟體。

 Minimal ISO：這個版本為精簡版的鏡像，可以安裝一個基本的CentOS系統，包含了可啟動系統基本所需的最小安裝包。

 選擇 DVD ISO，進入檔案下載下傳目錄-->

    下載下傳目錄界面分為兩個主要的資源區：一個是Actual Country，表示目前所在國家資源區；另一個是Nearby Countries，表示附近國家資源區，每個資源下邊又有本區的不同站點的資源，站點鏡像資訊中詳細表示了鏡像檔案的位址、類型及版本号等資訊。一般選擇目前國家資源區的站點下載下傳，擷取資源速度比較快。随機選擇一個站點完成鏡像檔案下載下傳。

2.  CentOS安裝

    vmware首頁選擇“建立新的虛拟機”，選擇鏡像後單擊下一步可能報錯，如下如所示：此主機支援 Intel VT-x，但 Intel VT-x 處于禁用狀态

    （Intel VT-x 即Virtualization Technology, 虛拟化技術，英特爾處理器内更出色的虛拟化支援Intel VT-x 有助于提高基于軟體的虛拟化解決方案的靈活性與穩定性。換句話說是在單CPU上支援多系統的技術。）

    解決方法是重新開機實體機，進入BIOS - Security，修改【Intel(R) Virtualization Tech】為【Enabled】，F10儲存退出後重新開機機器即可解決。接上一步繼續安裝即可。完成後，啟動虛拟機。

    （TODO：安裝過程）

三、 終端模拟軟體安裝

    直接在VMware工作站中操作虛機存在windows和虛機之間焦點切換的問題，是以推薦終端模拟軟體：xshell 或 secureCRT。推薦xshell，個人感覺體驗更佳。

    安裝和使用請自行百度。

四、 網絡配置

    CentOS安裝完畢後，預設是不聯網的。聯網修改設定如下：

1.  擷取網卡配置檔案名

    ifconfig指令擷取網卡配置檔案名，我的虛拟機網卡名稱是ens33

2.  編輯對應的配置檔案

vi /etc/sysconfig/network-scripts/ifcfg-ens33
           

将最後一行的 ONBOOT=no 修改為 ONBOOT=yes

輸入:wq儲存退出。重新開機network：

service network restart
           

此時虛拟機配置設定到IP位址可以聯網。

（TODO：固定IP位址）

五、 FTP檔案傳輸

    虛機與實體機檔案傳輸可以采用FTP服務的方式，vsftpd是linux下倍受歡迎的FTP伺服器。

1、 檢查&安裝vsftpd

//檢查是否安裝vsftpd
 rpm -qa | grep vsftpd
 //沒有就安裝vsftpd
 yum -y install vsftpd
 //設定系統服務
 chkconfig vsftpd on 
           

2、 FileZilla

    實體機下載下傳安裝FileZilla（免費開源的FTP解決方案）。安裝過程略。

六、 jdk安裝

1、 openjdk解除安裝

    如果centos自帶了openjdk，需先行解除安裝。

2、 jdk1.8安裝

  從sun官網下載下傳最新的1.8版本jdk壓縮包，通過遠端ftp工具傳輸到虛機。或者采用yum方式直接下載下傳安裝。

  解壓到指定目錄：

tar -zxvf jdk-8u171-linux-x64.tar.gz
           

  在/etc/profile檔案末尾追加java環境變量：

#set java environment
export JAVA_HOME=/home/java/jdk1.8.0_171
export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
           

  使/etc/profile生效：

source /etc/profile
           

  檢測安裝是否成功：

[[email protected] java]# java -version
java version "1.8.0_171"
Java(TM) SE Runtime Environment (build 1.8.0_171-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)
[[email protected] java]# javac
用法: javac <options> <source files>
其中, 可能的選項包括:
  -g                         生成所有調試資訊
  -g:none                    不生成任何調試資訊
  -g:{lines,vars,source}     隻生成某些調試資訊
  -nowarn                    不生成任何警告
  -verbose                   輸出有關編譯器正在執行的操作的消息
  -deprecation               輸出使用已過時的 API 的源位置
  -classpath <路徑>            指定查找使用者類檔案和注釋處理程式的位置
  -cp <路徑>                   指定查找使用者類檔案和注釋處理程式的位置
  -sourcepath <路徑>           指定查找輸入源檔案的位置
  -bootclasspath <路徑>        覆寫引導類檔案的位置
  -extdirs <目錄>              覆寫所安裝擴充的位置
  -endorseddirs <目錄>         覆寫簽名的标準路徑的位置
  -proc:{none,only}          控制是否執行注釋處理和/或編譯。
  -processor <class1>[,<class2>,<class3>...] 要運作的注釋處理程式的名稱; 繞過預設的搜尋程序
  -processorpath <路徑>        指定查找注釋處理程式的位置
  -parameters                生成中繼資料以用于方法參數的反射
  -d <目錄>                    指定放置生成的類檔案的位置
  -s <目錄>                    指定放置生成的源檔案的位置
  -h <目錄>                    指定放置生成的本機标頭檔案的位置
  -implicit:{none,class}     指定是否為隐式引用檔案生成類檔案
  -encoding <編碼>             指定源檔案使用的字元編碼
  -source <發行版>              提供與指定發行版的源相容性
  -target <發行版>              生成特定 VM 版本的類檔案
  -profile <配置檔案>            請確定使用的 API 在指定的配置檔案中可用
  -version                   版本資訊
  -help                      輸出标準選項的提要
  -A關鍵字[=值]                  傳遞給注釋處理程式的選項
  -X                         輸出非标準選項的提要
  -J<标記>                     直接将 <标記> 傳遞給運作時系統
  -Werror                    出現警告時終止編譯
  @<檔案名>                     從檔案讀取選項和檔案名
           

七、 SSH免密登陸設定

    系統安裝好後，SSH預設是非免密的，可以通過下列指令測試：

ssh localhost
           

    如果提示輸入密碼則表示非免密。hadoop叢集中，各個節點之間互訪要求是SSH免密登陸。免密登陸設定方式如下：

#生成密鑰
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

#分發公鑰（多節點時操作）
$ scp -r ~/.ssh/authorized_keys root@${host}: ~/.ssh/
           

    再次ssh localhost/remotehost，免密登陸成功。

八、 虛機克隆

    在一個Hadoop叢集環境中，NameNode,SecondaryNameNode和DataNode是需要配置設定不同的節點上的，是以至少有三個節點來當然這些角色。這也就意味至少需要有三台伺服器。（如果是搭建僞分布式叢集，單純的用于學習，就沒必要克隆多台虛機）

    按上述步驟在第一台虛拟機上安裝好各種必須的軟體，比如jdk，mysql，openssl，yum，python等等。然後通過vm特有的clone功能，快捷的複制出第N台虛拟機。

 待補充。

參考：

https://jingyan.baidu.com/article/1876c85279cedd890a13766c.html   -- 從CentOS官網下載下傳系統鏡像詳細教程

http://www.jb51.net/article/129744.htm   -- 啟用聯網 

https://www.cnblogs.com/IT--Loding/p/6257685.html  -- FTP伺服器安裝

https://blog.csdn.net/fuyuwei2015/article/details/73195936  -- java開發環境搭建

http://blog.itpub.net/26230597/viewspace-1255651/