linux搭建hdfs環境

linux檢視jdk安裝路徑
which java
ls -lrt /usr/bin/java
ls -lrt /etc/alternatives/java

user:hadoop
pwd:admin

JAVA_HOME='/usr/lib/jvm/java-7-openjdk-amd64/jre/bin'

1.1建立hadoop使用者(123456)

sudo useradd -m hadoop -s /bin/bash  #建立hadoop使用者，并使用/bin/bash作為shell
sudo passwd hadoop                   #為hadoop使用者設定密碼，之後需要連續輸入兩次密碼
sudo adduser hadoop sudo             #為hadoop使用者增加管理者權限
su - hadoop                          #切換目前使用者為使用者hadoop
sudo apt-get update                  #更新hadoop使用者的apt,友善後面的安裝

1.2安裝SSH,設定SSH無密碼登陸
sudo apt-get install openssh-server   #安裝SSH server
ssh localhost                         #登陸SSH，第一次登陸輸入yes
exit                                  #登出的ssh localhost
cd ~/.ssh/                            #如果沒法進入該目錄，執行一次ssh localhost
ssh-keygen -t rsa　

cat ./id_rsa.pub >> ./authorized_keys #加入授權
ssh localhost                         #此時已不需密碼即可登入localhost，并可見下圖。如果失敗則可以搜尋SSH免密碼登入來尋求答案

1.3配置java環境
vim ~/.bashrc 

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source ~/.bashrc                       #使新配置的環境變量生效
java -version                          #檢測是否安裝成功，檢視java版本

1.4安裝hadoop-2.6.0
sudo tar -zxvf  hadoop-2.6.0.tar.gz -C /usr/local    #解壓到/usr/local目錄下
cd /usr/local
sudo mv  hadoop-2.6.0    hadoop                      #重命名為hadoop
sudo chown -R hadoop ./hadoop                        #修改檔案權限

vim ~/.bashrc 
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source ~/.bashrc
hadoop version

1.5僞分布式
Hadoop 的配置檔案位于 /usr/local/hadoop/etc/hadoop/ 中
修改2個配置檔案 core-site.xml 和 hdfs-site.xml 

	1.首先将jdk1.7的路徑添（export JAVA_HOME=/usr/lib/jvm/java ）加到hadoop-env.sh檔案 

	2.接下來修改core-site.xml檔案：
		<configuration>
				<property>
					 <name>hadoop.tmp.dir</name>
					 <value>file:/usr/local/hadoop/tmp</value>
					 <description>A base for other temporary directories.</description>
				</property>
				<property>
					 <name>fs.defaultFS</name>
					 <value>hdfs://localhost:9000</value>
				</property>
		</configuration>
		
	3.修改配置檔案 hdfs-site.xml
		<configuration>
				<property>
					 <name>dfs.replication</name>
					 <value>1</value>
				</property>
				<property>
					 <name>dfs.namenode.name.dir</name>
					 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
				</property>
				<property>
					 <name>dfs.datanode.data.dir</name>
					 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
				</property>
				
				<property>
					<name>hive.hwi.listen.host</name>
					<value>0.0.0.0</value>
				</property>
				<property>
					<name>hive.hwi.listen.port</name>
					<value>9999</value>
				</property>
				<property>
					<name>hive.hwi.war.file</name>
					<value>lib/hive-hwi-1.2.2.war</value>
				</property>
		</configuration>
		
	4.配置完成後，執行 NameNode 的格式化
		./bin/hdfs namenode -format
		
	5.啟動namenode和datanode程序，并檢視啟動結果
		./sbin/start-dfs.sh
		jps
		
	6.檢視 localhost:50070	
		
		
		
		
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf