本次作業要求來自：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223
1.安裝Linux，MySql
2.windows 與 虛拟機互傳檔案
3.安裝Hadoop
還不能從windows複制檔案的，可在虛拟機裡用浏覽器下載下傳安裝檔案，課件：
提取檔案：hadoop-2.7.1.tar.gz
連結: https://pan.baidu.com/s/1HIVd9JCZstWm0k7sAbXQCg
提取碼: 2thj
這裡使用vmware workstation進行安裝具體步驟見https://zhuanlan.zhihu.com/p/38797088
- 安裝mysql成功
- mysql啟動成功
- 測試資料庫
2共享檔案
安裝 vmware tools
VMware下ubuntu與Windows實作檔案共享的方法
.
在本機建立Share作為共享檔案夾
在Vm虛拟機檢視實作了檔案共享
把Hadoop-2.7.1解壓到/usr/local
3安裝Hadoop
建立hadoop使用者首先打開ctrl+alt+t打開終端視窗，輸入如下指令建立新使用者
退出并用Hadoop登入
更新apt
安裝SSH、配置SSH無密碼登陸
Ubuntu預設已安裝SSH client，此外還需要安裝SSH server
安裝後，使用ssh localhost按提示操作可以登入本機
為了友善設定無密碼登入
再次登入就可以無密碼了
檢視是否安裝成功
安裝java環境
安裝成功
使用指令 gedit ~/.bashrc 配置環境變量檔案.bashrc
注意：gedit提示找不到檔案的話
sudo apt-get update
sudo apt-get install gedit-gmate
sudo apt-get install gedit-plugins
sudo apt-get remove gedit
sudo apt-get install gedit
3.配置Java的環境變量，在檔案最前面或最後面添加如下一行（等号前後不能有空格），然後儲存退出
執行source ~/.bashrc讓環境變量立即生效。然後檢驗是否設定正确 java環境安裝成功
僞分布式配置
hadoop安裝雲盤下載下傳位址：驗證碼：2thj
通過win檔案共享下載下傳的hadoop安裝包到虛拟機中，若檔案共享不成功，可以在Ubuntu系統中下載下傳。倘若在Ubuntu系統無法使用雲盤下載下傳，可在win系統下載下傳完後發到qq郵箱，然後再Ubuntu系統中登入qq郵箱，然後在下載下傳。
進行前先确認hadoop可用
修改共享的hadoop檔案名 修改檔案夾權限 檢查hadoop是否可用
Hadoop生态的配置
我的部落格https://www.cnblogs.com/MissDu/p/8831525.html
複制配置檔案代碼。
運作Hadoop單機模式的例子
運作成功後檢視
Hadoop預設不會覆寫結果檔案，再次運作上面執行個體會提示錯誤，需要現将 ./output 删除
Hadoop僞分布式配置
Hadoop 可以在單節點上以僞分布式的方式運作，Hadoop 程序以分離的 Java 程序來運作，節點既作為 NameNode 也作為 DataNode，同時，讀取的是 HDFS 中的檔案。
Hadoop 的配置檔案位于 /usr/local/hadoop/etc/hadoop/ 中，僞分布式需要修改2個配置檔案 core-site.xml 和 hdfs-site.xml 。Hadoop的配置檔案是 xml 格式.
修改配置檔案 core-site.xml:
通過 gedit 編輯會比較友善:
gedit ./etc/hadoop/core-site.xml
修改配置檔案 hdfs-site.xml：
gedit ./etc/hadoop/hdfs-site.xml
檔案配置完成後，執行 NameNode 的格式化
開啟NameNode和DataNode
通過jps指令判斷是否成功
運作Hadoop僞分布式執行個體
1.在 HDFS 中建立使用者目錄
2.建立目錄 input，其對應的絕對路徑就是 /user/hadoop/input
3.将 /usr/local/hadoop/etc/hadoop 複制到分布式檔案系統中的 /user/hadoop/input 中
4.檢視檔案清單
5.僞分布式運作 MapReduce 作業
運作
.檢視位于HDFS中的輸出結果并取回本地
關閉hadoop
注意
下次啟動 hadoop 時，無需進行 NameNode 的初始化，隻需要運作 ./sbin/start-dfs.sh 開啟 NameNode 和 DataNode 守護程序就可以