天天看點

大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建

3.1 虛拟機環境準備

1) 克隆虛拟機

2) 修改克隆虛拟機的靜态ip

3) 修改主機名

4) 關閉防火牆

5) 建立atguigu使用者

6) 配置atguigu使用者具有root權限

以上6條内容詳見《尚矽谷大資料技術之Linux》文檔。

7)在/opt目錄下建立檔案夾

(1)在/opt目錄下建立module、software檔案夾

[[email protected] opt]$ sudo mkdir module

[[email protected] opt]$ sudo mkdir software

(2)修改module、software檔案夾的所有者

[[email protected] opt]$ sudo chown atguigu:atguigu module/ software/

[[email protected] opt]$ ll

總用量 8

drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:37 module

drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:38 software

3.2 安裝jdk

1)解除安裝現有jdk

(1)查詢是否安裝java軟體:

[[email protected] opt]$ rpm -qa | grep java

(2)如果安裝的版本低于1.7,解除安裝該jdk:

[atguigu@hadoop101 opt]$ sudo rpm -e 軟體包

2)用SecureCRT工具将jdk導入到opt目錄下面的software檔案夾下面

大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建

“alt+p”進入sftp模式

大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建

選擇jdk1.8拖入

大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建
大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建

3)在linux系統下的opt目錄中檢視軟體包是否導入成功。

[[email protected] opt]$ cd software/

[[email protected] software]$ ls

hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4)解壓jdk到/opt/module目錄下

[[email protected] software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5)配置jdk環境變量

(1)先擷取jdk路徑:

[atgui@hadoop101 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

(2)打開/etc/profile檔案:

[[email protected] software]$ sudo vi /etc/profile

在profile檔案末尾添加jdk路徑:

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

(3)儲存後退出:

:wq

(4)讓修改後的檔案生效:

[atguigu@hadoop101 jdk1.8.0_144]$ source /etc/profile

6)測試jdk是否安裝成功:

[atguigu@hadoop101 jdk1.8.0_144]# java -version

java version "1.8.0_144"

注意:重新開機(如果java -version可以用就不用重新開機)

[atguigu@hadoop101 jdk1.8.0_144]$ sync

[atguigu@hadoop101 jdk1.8.0_144]$ sudo reboot

3.3 安裝Hadoop

0)Hadoop下載下傳位址:

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

  1. 用SecureCRT工具将hadoop-2.7.2.tar.gz導入到opt目錄下面的software檔案夾下面

切換到sftp連接配接頁面,選擇Linux下編譯的hadoop jar包拖入

大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建
大資料技術之Hadoop(入門)第3章 Hadoop運作環境搭建

2)進入到Hadoop安裝包路徑下:

[atguigu@hadoop101 ~]$ cd /opt/software/

3)解壓安裝檔案到/opt/module下面

[atguigu@hadoop101 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4)檢視是否解壓成功

[atguigu@hadoop101 software]$ ls /opt/module/

hadoop-2.7.2

5)将hadoop添加到環境變量

(1)擷取hadoop安裝路徑:

[atguigu@ hadoop101 hadoop-2.7.2]$ pwd

/opt/module/hadoop-2.7.2

(2)打開/etc/profile檔案:

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

在profie檔案末尾添加jdk路徑:(shitf+g)

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

(3)儲存後退出:

:wq

(4)讓修改後的檔案生效:

[atguigu@ hadoop101 hadoop-2.7.2]$ source /etc/profile

6)測試是否安裝成功

[[email protected] ~]$ hadoop version

Hadoop 2.7.2

7)重新開機(如果hadoop指令不能用再重新開機):

[atguigu@ hadoop101 hadoop-2.7.2]$ sync

[atguigu@ hadoop101 hadoop-2.7.2]$ sudo reboot

本教程由尚矽谷教育大資料研究院出品,如需轉載請注明來源。