Hadoop-3.1.2 安裝步驟
第一步 準備 伺服器配置
1. 在VMware中安裝把Centos7安裝成功後，需要把界面設定為指令行啟動，因為預設的啟動方式是圖形界面啟動
systemctl set-default multi-user.target
2. 修改IP 位址，網絡連接配接的配置
cd /etc/sysconfig/network-scripts/ 進入目錄
ls 檢視目錄下的所有檔案
vi ifcfg-ens33 修改此檔案
修改内容如下
3 重新開機網絡配置，使網絡配置生效
service network restart 重新開機網絡設定
4. 停止防火牆
systemctl disable firewalld.service
5.修改hosts檔案
vi /etc/hosts
6. 設定hostname
hostnamectl set-hostanme master
7 安裝jdk
通過xftp把jdk安裝包複制到虛拟機的/root/apps下，并安裝目前目錄中
tar -zxvf ./jdk-8u231-linux-x64.tar.gz -C ./
8 安裝hadoop
通過xftp把hadoop安裝包複制到虛拟機的/root/apps下，并安裝在目前目錄中
tar -zxvf ./hadoop-3.1.2.tar.gz -C ./
第二步 SSH免密登入配置
9 把java和hadoop配置為環境變量
vi /etc/profile
10 重新開機配置使配置生效
source /etc/profile
通過指令檢視jdk或者hadoop是否安裝成功
11. 設定hadoop中java環境
vi /root/apps/hadoop-3.1.2/etc/hadoop/hadoop-env.sh
12 配置檔案的修改配置
(1)core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/bigdata/hddata</value>
</property>
(2) hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slaver01:9001</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
(3) mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(4) yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
13 配置worker
vi /root/apps/hadoop-3.1.2/etc/hadoop/workers
14 修改 vi /root/apps/hadoop-3.1.2/etc/hadoop/yarn-env.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
15 在 sbin，修改start-dfs.sh,stop-dfs.sh,都添加：
vi /root/apps/hadoop-3.1.2/sbin/start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root