數倉小組作業（一）Mac 安裝與配置JDK、SSH、MySql、Hadoop、Hive

一、安裝與配置JDK

時間太久遠了，直接放個參考連結

https://www.jianshu.com/p/a85658902f26

安裝idk之後，配置環境變量，需要找到jdk的位置，輸入如下指令： 

/usr/libexec/java_home
           

傳回jdk的位置，先複制它

/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home 

複制到環境變量檔案中。由于vim編輯器不好操作，推薦使用sublime來編輯配置檔案：（前提是你已經安裝了sublime）

ln  /Applications/Sublime\ Text.app/Contents/SharedSupport/bin/subl /usr/local/bin/subl
           

然後打開環境變量檔案：

subl ~/.bash_profile
           

配置成這樣：（sorry第二句我不知道必不必要）

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_251.jdk/Contents/Home

export CLASSPAHT=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

二、安裝與配置SSH

參考連結：

https://www.cnblogs.com/micrari/p/5716851.html

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
ssh localhost
           

成功結果： 

三、安裝與配置MySql

參考連結：

https://www.cnblogs.com/lilyo/p/12904439.html

提示：不要用brew install mysql，會報錯。 

1、官網下載下傳安裝包

https://dev.mysql.com/downloads/mysql/

下載下傳第一個

2、 輕按兩下安裝包，安裝時注意選擇第二個：“Use Legacy Password Encryption”

3、安裝完就可以在“系統偏好設定”-“mysql”裡看到

 4、打開終端，輸入：

mysql -uroot -p
           

發現報錯：

zsh: command not found: mysql 
           

這個時候運作下面兩行指令：

cd /usr/local/bin
ln -fs /usr/local/mysql/bin/mysql mysql
           

 再次輸入：

mysql -uroot -p
           

就連接配接上了。輸入quit可以退出。

四、安裝與配置Hadoop

參考連結：

https://blog.csdn.net/weixin_36995355/article/details/107880338

1、安裝hadoop

brew install hadoop
           

2、環境變量配置

和第一步的jdk環境變量配置類似（sorry我也不知道這麼多環境變量必不必要）

# Hadoop

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.3.0/libexec

export HADOOP_COMMON_HOME=$HADOOP_HOME

export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:/usr/local/Cellar/scala/bin

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export JAVA_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_ROOT_LOGGER=DEBUG,console 

3、配置 hadoop-env.sh（它的位置在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

複制它，然後編輯hadoop-env.sh

cd /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop
vim hadoop-env.sh
           

這樣，我們通過如下指令就可以用sublime打開hadoop-env.sh了：

subl hadoop-env.sh
           

 把第一步複制的jdk位置放到這裡，儲存。（HADOOP_HOME那個我不确定必不必要）

4、配置 core-site.xml （它的位置同樣在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl core-site.xml
           

添加以下代碼： 

<configuration>  <property>   <name>hadoop.tmp.dir</name>    <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp</value>  </property>  <property>   <name>fs.defaultFS</name>   <value>hdfs://localhost:9000</value>  </property> </configuration>

5、配置 hdfs-site.xml（它的位置同樣在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl hdfs-site.xml
           

添加以下代碼：

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property>  <property>       <name>dfs.namenode.name.dir</name>      <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/name</value> </property> <property>      <name>dfs.namenode.data.dir</name>      <value>file:/usr/local/Cellar/hadoop/3.3.0/libexec/tmp/dfs/data</value> </property> </configuration>

6、配置 mapred-site.xml（它的位置同樣在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl mapred-site.xml
           

添加以下代碼：

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

6、配置 yarn-site.xml （它的位置同樣在 /usr/local/Cellar/hadoop/3.3.0/libexec/etc/hadoop）

subl yarn-site.xml
           

添加以下代碼：

<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> </property> </configuration>

7、格式化檔案系統

cd ..
cd ..
bin/hdfs namenode -format
           

結果有一大串，不截圖了。

8、啟動 NameNode 和 DataNode

sbin/start-dfs.sh
           

結果如下：

驗證NameNode 和 DataNode是否開啟，用下面指令檢視：

jps

可以看到有NameNode和DataNode。

此時可以打開 http://localhost:9870，看到頁面：

9、 啟動yarn

sbin/start-yarn.sh
           

傳回如下：

此時可以打開 http://localhost:8088，看到頁面： 

這樣，hadoop就ok了～ 

五、安裝與配置Hive

1、安裝hive

brew install hive
           

2、配置hive-site.xml

cd /usr/local/Cellar/hive/3.1.2_2/libexec/conf
           

有的配置教程是複制現有的hive-default.xml.template成hive-site.xml，再在裡面修改，但不是這樣的，我們要建立hive-site.xml

touch hive-site.xml
subl hive-site.xml
           

添加如下内容

<configuration>

  <property>

    <name>javax.jdo.option.ConnectionURL</name>

    <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;serverTimezone=GMT</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionDriverName</name>

    <value>com.mysql.jdbc.Driver</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

  </property>

  <property>

    <name>javax.jdo.option.ConnectionPassword</name>

    <value>12345678</value>

  </property>

  <property>

    <name>hive.exec.local.scratchdir</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.querylog.location</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.downloaded.resources.dir</name>

    <value>/tmp/hive</value>

  </property>

  <property>

    <name>hive.server2.logging.operation.log.location</name>

    <value>/tmp/hive</value>

  </property>

</configuration>

3、安裝mysql-connector

https://cdn.mysql.com//archives/mysql-connector-java-8.0/mysql-connector-java-8.0.20.tar.gz

我把它安裝到桌面的，先解壓，把裡面的jar檔案提出來放在桌面

要把它複制到hive的lib檔案，指令如下：

cd ~/desktop
cp mysql-connector-java-8.0.20.jar /usr/local/Cellar/hive/3.1.2_2/libexec/lib
           

4、初始化庫

cd /usr/local/Cellar/hive/3.1.2_2/libexec
schematool -initSchema -dbType mysql
           

如果你第二次執行schematool -initSchema -dbType mysql，則需要在mysql中删掉hive，不然要報錯：

5、啟動hive

hive
           

啟動成功！