centos7 hadoop 單機模式安裝配置

版權聲明：本文由董可倫首發于https://dongkelun.com，非商業轉載請注明作者及原創出處。商業轉載請聯系作者本人。 https://blog.csdn.net/dkl12/article/details/80232782

我的原創位址：

https://dongkelun.com/2018/03/23/hadoopConf/

前言

由于現在要用spark,而學習spark會和hdfs和hive打交道，之前在公司伺服器配的分布式叢集，離開公司之後，自己就不能用了，後來用ambari搭的三台虛拟機的叢集太卡了，是以就上網查了一下hadoop+hive的單機部署，以便自己能進行簡單的學習，這裡記錄一下，本來想把hadoop和hive的放在一起寫，由于太多，就分成兩篇寫了。

1、首先安裝配置jdk（我安裝的1.8）

2、下載下傳hadoop

下載下傳位址：

http://mirror.bit.edu.cn/apache/hadoop/common/

，我下載下傳的是hadoop-2.7.5.tar.gz

（由于我之前用的2.7.1是幾年前下載下傳儲存在本地的，現在發現之前在配置spark那篇寫的那個hadoop下載下傳位址較慢，是以改成這個位址）

3、解壓到/opt目錄下（目錄根據自己習慣）

tar -zxvf hadoop-2.7.5.tar.gz  -C /opt/           

4、配置hadoop環境變量

vim /etc/profile           

export HADOOP_HOME=/opt/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin             

source /etc/profile           

5、配置hadoop

5.1 配置hadoop-env.sh

vim /opt/hadoop-2.7.5/etc/hadoop/hadoop-env.sh           

找到# The java implementation to use.将其下面的一行改為：

export JAVA_HOME=/opt/jdk1.8.0_45           

5.2 配置core-site.xml (5.2和5.3中配置檔案裡的檔案路徑和端口随自己習慣配置)

其中的IP:192.168.44.128為虛拟機ip,不能設定為localhost，如果用localhost,後面在windows上用saprk連接配接伺服器（虛拟機）上的hive會報異常（win讀取的配置也是localhost，這樣localhost就為win本地ip了~也可以給ip加個映射，不過因為單機的我就沒加）。

vim /opt/hadoop-2.7.5/etc/hadoop/core-site.xml           

<configuration>
<property>
        <name>hadoop.tmp.dir</name>
        <value>file:///opt/hadoop-2.7.5</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.44.128:8888</value>
    </property>
</configuration>
           

5.3 配置hdfs-site.xml

vim /opt/hadoop-2.7.5/etc/hadoop/hdfs-site.xml           

<configuration>
        <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/hadoop-2.7.5/tmp/dfs/data</value>
    </property>
</configuration>
           

6、SSH免密碼登入

參考：

linux ssh 免密登入

7、啟動與停止

第一次啟動hdfs需要格式化：

cd /opt/hadoop-2.7.5
./bin/hdfs namenode -format             

Re-format filesystem in Storage Directory /opt/hadoop-2.7.5/tmp/dfs/name ? (Y or N)

輸入：Y

（出現詢問輸入Y or N,全部輸Y即可）

啟動：

./sbin/start-dfs.sh           

停止：

./sbin/stop-dfs.sh           

驗證，浏覽器輸入：

http://192.168.44.128:50070

簡單的驗證hadoop指令：

hadoop fs -mkdir /test           

在浏覽器檢視，出現如下圖所示，即為成功

8、配置yarn

8.1 配置mapred-site.xml

cd /opt/hadoop-2.7.5/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml           

<configuration>
    <!-- 通知架構MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>           

8.2 配置yarn-site.xml

vim yarn-site.xml           

<configuration>
    <!-- reducer取資料的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>           

8.3 yarn啟動與停止

cd /opt/hadoop-2.7.5
./sbin/start-yarn.sh             

./sbin/stop-yarn.sh            

浏覽器檢視：

http://192.168.44.128:8088

jps檢視程序

到此，hadoop單機模式就配置成功了！

參考資料

https://blog.csdn.net/cafebar123/article/details/73500014