本節書摘來異步社群《spark cookbook 中文版》一書中的第1章,第1.2節,作者: 【印度】rishi yadav(亞達夫)譯者: 顧星竹 , 劉見康 責編: 胡俊英,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視。
本書的所有教程都是适用于ubuntu linux系統的,不過應該也适用于任何posix環境。在安裝spark之前,首先需要安裝好java,并且配置好java_home環境變量。
在linux/unix系統中,檔案和目錄的位置是有特定标準的,本書中也同樣遵從這些标準,表1-1是一張速查表。
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsIyZuBnL3YWO2ITZlFmNjZmZxQjNjhzNzUGZzYzNzITY3AzN4IGZwcDZ2Q2N38CXt92Yu4GZjlGbh5SZslmZxl3Lc9CX6MHc0RHaiojIsJye.png)
安裝步驟如下所示。
1.打開終端,使用如下指令下載下傳二進制安裝包。
2.解壓二進制安裝包。
3.重命名包含二進制安裝包的檔案夾,去除版本資訊。
4.把配置檔案夾移動到/etc檔案夾下,以便之後制作軟連結。
5.在/opt目錄下建立一個公司名限定的安裝目錄。本書的本篇教程是使用infoobjects沙盒測試的,是以我們就用infoobjects做目錄名。建立目錄/opt/infoobjects。
6.把spark目錄移動到/opt/infoobjects,因為spark是一個附加軟體包。
7.設定root為spark主目錄的權限使用者。
8.修改spark主目錄的權限,0755意味着主使用者将擁有讀寫和執行權限,而群使用者和其他使用者擁有讀和執行權限。
9.進入spark主目錄。
10.建立軟連結。
11.在.bashrc檔案中添加到path變量。
12.打開一個新終端。
13.在/var目錄下建立log目錄。
14.設定hduser為spark log目錄的權限使用者
15.建立spark tmp目錄。
16.在以下指令的幫助下配置spark。