【阿里云/腾讯云】搭建 Hadoop 伪分布式环境实验

【阿里云/腾讯云】搭建 Hadoop 伪分布式环境

• • 体验链接
• 腾讯云实验（意外中断）
• • 1.教程环境和说明
  • • 软硬件环境
    • 关于本教程的说明
  • 2.安装 SSH 客户端
  • 3.安装 JAVA 环境
  • • 安装 JDK
    • 配置 JAVA 环境变量
  • 4.安装 Hadoop
• 阿里云实验
• • 1.创建资源
  • 2.连接ECS服务器
  • 3. 安装JDK
  • 4. 安装Hadoop
  • 5. 配置Hadoop
  • • 1. 修改Hadoop配置文件 `core-site.xml`。
    • 2. 修改Hadoop配置文件 `hdfs-site.xml`。
  • 6. 配置SSH免密登录
  • 7. 启动Hadoop
  • • 两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

体验链接

搭建Hadoop环境–阿里云

搭建 Hadoop 伪分布式环境–腾讯云

腾讯云实验（意外中断）

1.教程环境和说明

软硬件环境

CentOS 7.2 64 位

OpenJDK- 1.8

Hadoop- 2.7

关于本教程的说明

云实验室云主机自动使用 root 账户登录系统，因此本教程中所有的操作都是以 root 用户来执行的。若要在自己的云主机上进行本教程的实验，为了系统安全，建议新建一个账户登录后再进行后续操作。

2.安装 SSH 客户端

安装SSH

安装SSH：

sudo yum install openssh-clients openssh-server
           

安装完成后，可以使用下面命令进行测试：

ssh localhost
           

输入 root 账户的密码(通过

sudo passwd root

进行重置)，如果可以正常登录，则说明SSH安装没有问题。测试正常后使用 exit 命令退出ssh。

3.安装 JAVA 环境

安装 JDK

使用 yum 来安装1.7版本 OpenJDK：

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
           

安装完成后，输入

java

和

javac

命令，如果能输出对应的命令帮助，则表明jdk已正确安装。

配置 JAVA 环境变量

执行命令:

编辑 ~/.bashrc

,(通过

vim

实现)在结尾追加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
           

保存文件后执行下面命令使

JAVA_HOME

环境变量生效:

source ~/.bashrc
           

为了检测系统中 JAVA 环境是否已经正确配置并生效，可以分别执行下面命令:

java -version
           

$JAVA_HOME/bin/java -version
           

若两条命令输出的结果一致，且都为我们前面安装的 openjdk-1.8.0 的版本，则表明 JDK 环境已经正确安装并配置。

4.安装 Hadoop

下载 Hadoop

本教程使用 hadoop-2.7 版本，使用 wget 工具在线下载（注：本教程是从清华大学的镜像源下载，如果下载失败或报错，可以自己在网上找到国内其他一个镜像源下载 2.7 版本的 hadoop 即可）：

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz
           

阿里云实验

1.创建资源

创建资源

2.连接ECS服务器

1. 资源创建完毕后，双击 LX终端图标 即可打开shell终端窗口。
2. 在终端中输入连接命令ssh [username]@[ipaddress]后按键盘enter键。您需要将username和ipaddress替换成ECS服务器的登录名和公网地址，ECS服务器的登录名和公网地址可在第一小节中的 云产品资源 下拉列表中查看。例如：

   

ssh [email protected]
           

1. 输入yes，该操作表示同意继续连接。执行该操作后，您将会收到输入登录密码的提示。
2. 输入登录密码。密码为已创建的ECS服务器的登录密码。注意输入密码时不会有任何显示。
3. 成功连接后如下图所示：

   

4. 体验过程中可以收起子用户信息来更完整查看实验手册。

   

3. 安装JDK

安装JDK

1. 执行以下命令，下载JDK1.8安装包。

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
           

2. 执行以下命令，解压下载的JDK1.8安装包。

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
           

3. 执行以下命令，移动并重命名JDK包。

mv java-se-8u41-ri/ /usr/java8
           

1. 执行以下命令，配置Java环境变量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
           

5. 执行以下命令，查看Java是否成功安装。

java -version
           

如果返回以下信息，则表示安装成功。

4. 安装Hadoop

安装Hadoop

1. 执行以下命令，下载Hadoop安装包。

   注意：阿里云实验室此wget链接已经失效。因为清华源的hadoop版本已经更新。替换实验中所有的

   hadoop-2.9.2

   为

   hadoop-3.2.2

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
           

2. 执行以下命令，解压Hadoop安装包至/opt/hadoop。

tar -zxvf hadoop-3.2.2.tar.gz -C /opt/
mv /opt/hadoop-3.2.2 /opt/hadoop
           

1. 执行以下命令，配置Hadoop环境变量。

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
           

4. 执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
           

5. 执行以下命令，测试Hadoop是否安装成功

hadoop version
           

如果返回以下信息，则表示安装成功。

5. 配置Hadoop

配置Hadoop

1. 修改Hadoop配置文件

core-site.xml

。

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/core-site.xml
           

b. 输入i进入编辑模式。

c. 在

<configuration></configuration>

节点内插入如下内容。

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
           

d. 按Esc键退出编辑模式，输入:wq保存退出。

2. 修改Hadoop配置文件

hdfs-site.xml

。

a. 执行以下命令开始进入编辑页面。

vim /opt/hadoop/etc/hadoop/hdfs-site.xml
           

b. 输入i进入编辑模式。

c. 在

<configuration></configuration>

节点内插入如下内容。

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>
           

d. 按Esc键退出编辑模式，输入:wq保存退出。

6. 配置SSH免密登录

配置SSH免密登录

1. 执行以下命令，创建公钥和私钥。

ssh-keygen -t rsa
           

2. 执行以下命令，将公钥添加到authorized_keys文件中。

cd .ssh
cat id_rsa.pub >> authorized_keys
           

7. 启动Hadoop

启动Hadoop

1. 执行以下命令，初始化namenode 。

hadoop namenode -format
           

2. 依次执行以下命令，启动Hadoop。

start-dfs.sh
           

WARNING: Use of this script to execute namenode is deprecated.

WARNING: Attempting to execute replacement “hdfs namenode” instead.

警告：不推荐使用此脚本来执行 namenode。

警告：尝试执行替换“hdfs namenode”。

替换命令为

hdfs namenode

的执行效果

hdfs namenode
           

如下命令执行出错：

start-yarn.sh
           

两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

两种解决ERROR: Attempting to operate on hdfs namenode as root的方法

输入如下命令使改动生效

source /etc/profile
           

成功启动

1. 启动成功后，执行以下命令，查看已成功启动的进程。

jps
           

1. 打开浏览器访问http://<ECS公网地址>:8088和http://<ECS公网地址>:50070，显示如下界面则表示Hadoop伪分布式环境搭建完成。

第二个页面实际出错了，不管他