Hadoop運作環境搭建

不同Linux，操作不同

一、環境配置(CentOS7)

0、安裝Linux實體機

1、開啟遠端連接配接

a、檢測 openssh-server 是否安裝

yum list installed | grep openssh-server      

b、安裝 openssh-server

yum install openssh-server      

c、修改配置文庫

vim /etc/ssh/sshd_config      

Port 22
#AddressFamily any
ListenAddress 0.0.0.0
ListenAddress ::

# Authentication:

#LoginGraceTime 2m
PermitRootLogin yes
#StrictModes yes
#MaxAuthTries 6
#MaxSessions 10      

d、開啟端口(預設開啟)

e、開啟服務

systemctl start sshd
systemctl enable sshd      

2、配置固定(靜态)IP

a、配置檔案

cd /etc/sysconfig/network-scripts/
vim ifcfg-ens33

TYPE=Ethernet
BOOTPROTO=static
NAME=ens33
ONBOOT=yes
IPADDR=192.168.10.10
NETMASK=255.255.255.0
GATEWAY=192.168.10.1
DNS1=DNS1=8.8.8.8      

注意：連接配接外網

DNS1 為 8.8.8.8 和 GATEWAY ，GATEWAY與 NAT設定的網關IP相同

b、重新開機服務

systemctl restart network      

3、修改主機名

a、檢視主機名

hostname      

b、修改配置檔案

vim /etc/hostname      

c、配置hosts linux

# 修改配置檔案
vim /etc/hosts
# 内容 中間三個空格保持隊列
192.168.8.128   wt.com
# 重新開機服務
/etc/init.d/network restart      

d、配置host windows

C:\Windows\System32\drivers\etc
# 修改 hosts
192.168.8.128  wt.com      

注意：主機名稱的改變不會立即同步到，需要重新開機

4、配置防火牆

5、建立配置使用者的root權限(sudo)

a、打開配置檔案

vim /etc/sudoers      

## Allow root to run any commands anywhere
root    ALL=(ALL)       ALL
tom     ALL=(ALL)       ALL      

二、安裝JDK

1、國内鏡像

https://repo.huaweicloud.com/java/jdk/

2、安裝

本人的CentOS7自帶JDK，且版本适中，其它自行百度

三、安裝Hadoop

http://mirror.bit.edu.cn/apache/hadoop/common/

a、解壓

tar -xzvf hadoop-2.7.7.tar.gz
sudo mv hadoop-2.7.7 /opt/module      

b、環境變量

sudo vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profil      

which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java


sudo vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-2.b14.el7.x86_64/jre
source /etc/profile