Hadoop大数据完全分布式运行模式搭建

环境准备

1. 准备3台客户机（关闭防火墙、静态ip、主机名称）
2. 安装JDK
3. 配置环境变量
4. 安装Hadoop
5. 配置环境变量
6. 配置集群
7. 单点启动
8. 配置ssh
9. 群起并测试集群

编写集群分发脚本xsync

在/home/***目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

mkdir bin
cd bin/
touch s=xsync
vi xsync
           

在该文件中编写如下代码

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done
           

修i该脚本xsync执行权限

chmod 777 xsync
           

调用脚本形式：xsync 文件名称

xsync /home/atguigu/bin
           

注意：如果将xsync放到/home/atguigu/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。

集群配置

配置集群

1. 配置core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://hadoop1:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/hadoop/data/tmp</value>
</property>
           

1. HDFS配置文件

   配置hadoop-env.sh

export JAVA_HOME=/opt/jdk1.8.0
           

配置hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>

<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop2:50090</value>
</property>
           

YARN配置文件

配置yarn-env.sh

export JAVA_HOME=/opt/jdk1.8.0
           

配置yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop3</value>
</property>```

MapReduce配置文件
配置mapred-env.sh

```xml
export JAVA_HOME=/opt/jdk1.8.0
           

配置mapred-site.xml

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>
           

在集群上分发配置好的Hadoop配置文件

xsync /opt/hadoop/
           

SSH无密登录配置

ssh-keygen -t rsa
ssh-copy-id hadoop1
ssh-copy-id hadoop2
ssh-copy-id hadoop3
           

群起集群

配置slaves

/opt//hadoop/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

同步所有节点配置文件

xsync workers

启动集群

hdfs namenode -format
start-dfs.sh
start-yarn.sh
           

访问：http://hadoop1:9870/dfshealth.html#tab-overview