天天看點

windows下搭建hadoop

windows下搭建hadoop

  • ​​下載下傳​​
  • ​​環境變量​​
  • ​​windows 腳本替換​​
  • ​​配置​​
  • ​​windows權限​​
  • ​​啟動​​
  • ​​單詞統計執行個體​​

下載下傳

首先去​​Apache Hadoop​​下載下傳hadoop的安裝包

windows下搭建hadoop

選擇二進制檔案即可

windows下搭建hadoop

選擇國内鏡像增加下載下傳速度

windows下搭建hadoop

下載下傳後解壓到檔案夾

windows下搭建hadoop

環境變量

設定環境變量​

​HADOOP_HOME​

windows下搭建hadoop

然後把​

​HADOOP_HOME​

​​加入​

​Path​

​中

windows下搭建hadoop

打開cmd,輸入​

​hadoop version​

​驗證

windows下搭建hadoop

windows 腳本替換

到​​cdarlint/winutils: winutils.exe hadoop.dll and hdfs.dll binaries for hadoop windows (github.com)​​下載下傳全部版本的腳本,并解壓

windows下搭建hadoop

需要注意的是,盡可能選擇這裡面有的hadoop版本。比如2.9.2版本。

windows下搭建hadoop

将裡面的檔案全部拷貝到hadoop下的bin目錄中,并選擇替換

windows下搭建hadoop

配置

首先在hadoop目錄下建立一個臨時檔案夾,用于hadoop存儲臨時檔案。

否則hadoop預設會在c盤建立臨時檔案夾,這時會因為權限的問題,導緻無法建立,是以最好是在hadoop目錄下建立臨時檔案夾,而且盡可能不要把hadoop放在C槽。

配置​

​core-site.xml​

<configuration>
  <property>
    <name>fs.defaultFS</name>
  <value>hdfs://localhost:9820</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
  <value>/E:/hadoop/hadoop-2.9.2/tmp</value>
  </property>
</configuration>      

接着在hadoop目錄下建立data檔案夾,用于hadoop存儲持久化資料,在data目錄下建立namenode和datanode檔案夾

配置​

​hdfs-site.xml​

<configuration>
  <property>
    <name>dfs.replication</name>
  <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
  <value>file:///E:/hadoop/hadoop-2.9.2/data/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
  <value>file:///E:/hadoop/hadoop-2.9.2/data/datanode</value>
  </property>
  <property>
    <name>dfs.namenode.http-address</name>
  <value>http://localhost:9870</value>
  </property>
</configuration>      

配置​

​mapred-site.xml​

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
</configuration>      

配置​

​yarn-site.xml​

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  <description>Yarn Node Manager Aux Service</description>
  </property>
</configuration>      

注意上述檔案如果在hadoop/etc/hadoop下無法找到的,請找到相同檔案名的​

​.template​

​​檔案拷貝,并删除​

​.tamplate​

​字尾

windows權限

此時直接啟動,會出現建立符号的異常,這是因為在window系統中,隻有管理者才能建立符号連結。

此時有兩種解決方式,第一種使用管理者的cmd啟動​

​hadoop/sbar/start-all.cmd​

​;第二種是給自己登入的使用者賦予建立符号連結的權限。

第一種,使用管理者的cmd

windows下搭建hadoop

第二種,使用win+r打開運作,輸入​

​gpedit.msc​

​,在【計算機配置】-【Windows設定】-【安全設定】-【本地政策】-【使用者權限配置設定】-【建立符号連結】中加入自己登入的使用者或使用者組,然後重新開機系統生效。

啟動

第一次啟動需要初始化名位元組點,初始化名位元組點之前請確定​

​hadoop/data/namenode​

​​檔案夾為空,然後在cmd(管理者)中輸入​

​hadoop namenode -format​

​請注意空格。

windows下搭建hadoop

這樣就初始化成功了。

然後切換到hadoop所在的驅動器,并切換到hadoop目錄下

windows下搭建hadoop

接着進入sbin目錄,并啟動​

​start-all.cmd​

windows下搭建hadoop

接着會啟動4個cmd視窗

windows下搭建hadoop

這樣就啟動成功了

接着在浏覽器中通路​

​http://localhost:9870​

​驗證

windows下搭建hadoop

單詞統計執行個體

我們首先建立三個txt檔案

windows下搭建hadoop

然後給檔案裡面随便寫點東西,接着在hadoop的hdfs中建立​

​/input​

​目錄(這裡可以使用普通的cmd)

​hadoop fs -mkdir /input​

windows下搭建hadoop

接着把三個txt檔案上傳到hdfs中

​hadoop fs -put yourpath\1.txt /input​

​hadoop fs -put yourpath\2.txt /input​

​hadoop fs -put yourpath\2.txt /input​

windows下搭建hadoop

然後檢視

​hadoop fs -ls /input​

windows下搭建hadoop

你也可以在浏覽器中檢視

windows下搭建hadoop
windows下搭建hadoop
windows下搭建hadoop
windows下搭建hadoop

接着調用單詞統計的例子

windows下搭建hadoop

執行指令​

​hadoop jar yourPath\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.9.2.jar wordcount /input /output​

就會開始執行

windows下搭建hadoop

等待一會執行完畢即可

windows下搭建hadoop

執行的結果會儲存在hdfs的​

​/output​

​目錄下

​hadoop fs -ls /output​

windows下搭建hadoop

檢視結果

繼續閱讀