天天看點

《Spark Cookbook 中文版》一1.2 使用二進制檔案安裝Spark

本節書摘來異步社群《spark cookbook 中文版》一書中的第1章,第1.2節,作者: 【印度】rishi yadav(亞達夫)譯者: 顧星竹 , 劉見康 責編: 胡俊英,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。

本書的所有教程都是适用于ubuntu linux系統的,不過應該也适用于任何posix環境。在安裝spark之前,首先需要安裝好java,并且配置好java_home環境變量。

在linux/unix系統中,檔案和目錄的位置是有特定标準的,本書中也同樣遵從這些标準,表1-1是一張速查表。

《Spark Cookbook 中文版》一1.2 使用二進制檔案安裝Spark

安裝步驟如下所示。

1.打開終端,使用如下指令下載下傳二進制安裝包。

2.解壓二進制安裝包。

3.重命名包含二進制安裝包的檔案夾,去除版本資訊。

4.把配置檔案夾移動到/etc檔案夾下,以便之後制作軟連結。

5.在/opt目錄下建立一個公司名限定的安裝目錄。本書的本篇教程是使用infoobjects沙盒測試的,是以我們就用infoobjects做目錄名。建立目錄/opt/infoobjects。

6.把spark目錄移動到/opt/infoobjects,因為spark是一個附加軟體包。

7.設定root為spark主目錄的權限使用者。

8.修改spark主目錄的權限,0755意味着主使用者将擁有讀寫和執行權限,而群使用者和其他使用者擁有讀和執行權限。

9.進入spark主目錄。

10.建立軟連結。

11.在.bashrc檔案中添加到path變量。

12.打開一個新終端。

13.在/var目錄下建立log目錄。

14.設定hduser為spark log目錄的權限使用者

15.建立spark tmp目錄。

16.在以下指令的幫助下配置spark。