1、環境搭建-大資料 Hadoop配置和單機Hadoop系統配置

大資料 Hadoop配置和單機Hadoop系統配置

#檢視伺服器ip
ip add
#設定主機名稱
hostnamectl set-hostname master
bash
#檢視
hostname
#綁定ip
vi /etc/hosts
           

添加

伺服器IP位址 master

#檢視ssh狀态
systemctl status sshd
           

active (running)

#關閉防火牆
systemctl stop firewalld
#檢視防火牆狀态
systemctl status firewalld
#永久關閉防火牆
systemctl disable firewalld
           

建立hadoop使用者并設定密碼

安裝jdk

vi /etc/profile
#環境變量
export JAVA_HOME=jdk安裝根目錄全路徑
export PATH=$PATH:$JAVA_HOME/bin
#執行使生效
source /etc/profile
#檢視是否可用
echo $JAVA_HOME
# 檢視jdk安裝
java -version
           

安裝配置Hadoop環境

解壓

vi /etc/profile
           

配置環境變量

# HADOOP_HOME 指向 JAVA 安裝目錄
export HADOOP_HOME=hadoop安裝根目錄全路徑
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#執行使生效
source /etc/profile
#檢查
hadoop
#修改目錄所有者群組
chown -R hadoop:hadoop 安裝目錄全路徑
           

安裝單機hadoop系統

進入hadoop根目錄

vi etc/hadoop/hadoop-env.sh
           

查找export JAVA_HOME修改等号後面為jdk路徑

進入hadoop使用者

建立imput目錄

寫一個統計檔案,測試 MapReduce 運作

hadoop jar /usr/local/src/hadoop2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar  wordcount  ~/input/data.txt ~/output
           

檢視輸出目錄

檢視輸出目錄下part-r-00000檔案

遞歸删除輸出目錄