天天看點
傳回

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

文章目錄

  • 基于Linux的Hadoop僞分布式安裝
    • 1. hadoop使用者設定
      • 1.1 建立新使用者（需注意權限問題：切換為root使用者）
      • 1.2 添加新使用者hadoop，并設定相關資訊（一直回車預設就可以）
      • 1.3 退出目前使用者登入hadoop使用者（或直接在Ubuntu中切換使用者即可）
      • 1.4 以管理者身份（root使用者）執行指令visudo，來修改配置
      • 1.5 退出root使用者
    • 2. 安裝ssh
      • 2.1 更新apt源（以免後續安裝軟體失敗）
      • 2.2 安裝ssh服務端
      • 2.3 安裝後使用以下指令登入本機：輸入yes、輸入密碼即可登入
      • 2.4 輸入exit退出ssh
      • 2.5 配置ssh免密登入
      • 2.6 使用 ssh localhost 試試是否能直接登入
    • 3. 安裝vim
    • 4. 安裝JDK并配置環境變量
      • 4.1 安裝openjdk-8-jdk
      • 4.2 檢視Java版本，看看是否安裝成功
      • 4.3 将JDK安裝路徑改為上述指令得到的路徑，并儲存（也可以使用vim編輯）
      • 4.4 讓該環境變量生效，執行如下指令
      • 4.5 檢視是否是自己安裝的Java路徑以及對應的版本
    • 5. 安裝Hadoop
      • 5.1 下載下傳hadoop
      • 5.2 解壓（在你想安裝的路徑下進行解壓，這裡選擇将hadoop安裝到 /usr/local 中
      • 5.3 進入該檔案夾，将檔案夾名為hadoop
      • 5.4 修改檔案權限
      • 5.5 配置環境變量
      • 5.6 執行如下代碼使其生效
      • 5.7 可以用如下指令檢視解壓的hadoop是否是可用的
    • 6. hadoop僞分布式配置
      • 6.1 配置 hadoop-env.sh
      • 6.2 配置 yarn-env.sh
      • 6.3 配置 core-site.xml
      • 6.4 配置 hdfs-site.xml
      • 6.5 配置 yarn-site.xml
      • 6.6 重新開機Ubuntu系統，驗證Hadoop是否安裝成功
    • 7. 啟動HDFS僞分布式模式
      • 7.1 格式化namenode
      • 7.2 啟動hdfs
      • 7.3 顯示程序（有6個程序表示正常）
      • 7.4 打開浏覽器

基于Linux的Hadoop僞分布式安裝

1. hadoop使用者設定

1.1 建立新使用者（需注意權限問題：切換為root使用者） 

su root
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

1.2 添加新使用者hadoop，并設定相關資訊（一直回車預設就可以） 

adduser hadoop
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

1.3 退出目前使用者登入hadoop使用者（或直接在Ubuntu中切換使用者即可）

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

1.4 以管理者身份（root使用者）執行指令visudo，來修改配置 

su root
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
visudo
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
visudo打開的是

/etc/sudoers

 檔案，修改該檔案，在

root ALL=(ALL:ALL) ALL

 這一行下面加入一行： 
hadoop ALL=(ALL:ALL) ALL
CTRL+O（然後再按ENTER）儲存，CTRL+C取消，CTRL+X退出

1.5 退出root使用者

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2. 安裝ssh

2.1 更新apt源（以免後續安裝軟體失敗） 

sudo apt-get update
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2.2 安裝ssh服務端 

sudo apt-get install openssh-server
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2.3 安裝後使用以下指令登入本機：輸入yes、輸入密碼即可登入 

ssh localhost
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2.4 輸入exit退出ssh

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2.5 配置ssh免密登入

  • 進入ssh目錄： 
cd ~/.ssh/
  • 會有提示，都按回車就可以： 
ssh-keygen -t rsa
  • 将密鑰加入到授權中： 
cat id_rsa.pub >> authorized_keys
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

2.6 使用 ssh localhost 試試是否能直接登入

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

3. 安裝vim

執行如下指令下載下傳并安裝vim：

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

4. 安裝JDK并配置環境變量

4.1 安裝openjdk-8-jdk 

sudo apt-get install openjdk-8-jdk
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

4.2 檢視Java版本，看看是否安裝成功 

java -version
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

4.3 将JDK安裝路徑改為上述指令得到的路徑，并儲存（也可以使用vim編輯） 

gedit ~/.bashrc
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

4.4 讓該環境變量生效，執行如下指令 

source ~/.bashrc
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

4.5 檢視是否是自己安裝的Java路徑以及對應的版本 

echo $JAVA_HOME
java -version
whereis java
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5. 安裝Hadoop

5.1 下載下傳hadoop

hadoop下載下傳網址：https://hadoop.apache.org/releases.html (速度較慢)

可以使用這個網址：http://archive.apache.org/dist/hadoop/core/hadoop-3.2.4/ (可以選擇需要的版本)

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.2 解壓（在你想安裝的路徑下進行解壓，這裡選擇将hadoop安裝到 /usr/local 中 

sudo tar -zxf ~/下載下傳/hadoop-3.2.4.tar.gz -C /usr/local
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.3 進入該檔案夾，将檔案夾名為hadoop 

cd /usr/local/
sudo mv ./hadoop-3.2.4/ ./hadoop
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.4 修改檔案權限 

sudo chown -R hadoop ./hadoop
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.5 配置環境變量 

gedit ~/.bashrc
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
#HADOOP VARIABLES START 
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.6 執行如下代碼使其生效 

source ~/.bashrc
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

5.7 可以用如下指令檢視解壓的hadoop是否是可用的 

hadoop version
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
若如上圖所示，hadoop已安裝完成！

6. hadoop僞分布式配置

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.1 配置 hadoop-env.sh 

gedit ./etc/hadoop/hadoop-env.sh
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
# The java implementation to use. 
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP=/usr/local/hadoop
export PATH=$PATH:/usr/local/hadoop/bin
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.2 配置 yarn-env.sh 

gedit ./etc/hadoop/yarn-env.sh
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
# export JAVA_HOME
JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.3 配置 core-site.xml 

gedit ./etc/hadoop/core-site.xml
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.4 配置 hdfs-site.xml 

gedit ./etc/hadoop/hdfs-site.xml
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.5 配置 yarn-site.xml 

gedit ./etc/hadoop/yarn-site.xml
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
<configuration> 
<!-- Site specific YARN configuration properties -->
    <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 
    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.address</name> 
        <value>127.0.0.1:8032</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>127.0.0.1:8030</value> 
    </property> 
    <property> 
        <name>yarn.resourcemanager.resource-tracker.address</name> 
        <value>127.0.0.1:8031</value> 
    </property> 
</configuration>
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

6.6 重新開機Ubuntu系統，驗證Hadoop是否安裝成功 

hadoop version
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

7. 啟動HDFS僞分布式模式

7.1 格式化namenode 

hdfs namenode -format
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

7.2 啟動hdfs 

start-all.sh
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

7.3 顯示程序（有6個程序表示正常） 

jps
基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

7.4 打開浏覽器

輸入：http://localhost:9870/

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝

輸入：http://localhost:8088/

基于Linux的Hadoop僞分布式安裝基于Linux的Hadoop僞分布式安裝
大資料技術 hadoop 大資料 HDFS 分布式 ubuntu
上一篇: 大資料技術之Hadoop第1章 Hadoop概述第2章 Hadoop運作環境搭建（開發重點）第3章 Hadoop運作模式第4章 常見錯誤及解決方案
下一篇: GBASE 8A v953報錯集錦41--導出資料到 Kerberos 認證 HDFS，資料可以正常導 出，但會有報錯資訊

繼續閱讀