天天看點

Windows10虛拟機上的spark環境搭建

(ps:*需要各種安裝包的可以把郵箱留下哦*)

1、虛拟機搭建

我是按照這個教程來安裝VMware的:

http://jingyan.baidu.com/article/215817f78879c21edb142379.html

以上方法安裝以後需要産品密鑰,在此貢獻出小夥伴的密鑰:

VF58R-28D9P-0882Z-5GX7G-NPUTF

2、VM安裝centOS虛拟機的教程

我是按照下面這個教程來得:

http://www.jb51.net/article/116641.htm

(1)處理報錯

報錯:已将該虛拟機配置為使用 64 位客戶機作業系統。但是,無法執行 64 位操作。

Windows10虛拟機上的spark環境搭建

解決方案:

先關機(重新開機不行),出現logo的時候按下F12.然後enter setup–>advanced–>CPUset up, 将Intel(R) Virtualization Technology 設定為:Enabled

可以參考以文章:http://blog.csdn.net/u010694764/article/details/53886061

問題:到這一步我原本以為虛拟機已經裝好了,在小夥伴夏夏的幫助下才發現根本沒有哇哎。

仔細一看系統會提示兩個錯誤:

(1) VMware 12安裝CentOS 6.9時出現:The centos disc was not found in any of your drives.Please insert the centos disc and press OK to retry

(2) VMware安裝時出現”Operating System not found”之解決方法

解決方案:在出現以下圖示的時候一定要選擇skip:

Windows10虛拟機上的spark環境搭建

具體看下面網址:

http://www.cnblogs.com/EasonJim/p/7198450.html

(2)處理完報錯以後就可以安裝centOS了

我是參考的這篇文章:

http://www.cnblogs.com/shishanyuan/p/4701510.html

3、連接配接虛拟機的網絡

檢查是否聯網,如果呈現一下狀态(網絡帶紅叉),表明沒有連結網絡。

Windows10虛拟機上的spark環境搭建

隻需點選下圖所示的system eth0即可。

Windows10虛拟機上的spark環境搭建

4、接下來是搭建spark環境

參考的是這個部落格:http://www.cnblogs.com/shishanyuan/p/4701510.html

重點安利!偶然發現這個部落格的樓主是《圖解spark核心技術與案例實戰》的作者郭景瞻,寫的超級詳細,除了沒有處理各種報錯的解決方案,可以說是完全能作為教科書來看了。

5、在搭建過程中出現的幾個小問題以及解決方案

(1) IP、網關、DNS、子網路遮罩設定

作為一個純正的統計學出身的寶寶,設定IP的時候,一直不知道IP、網關、DNS、子網路遮罩該怎樣設定,是什麼東西,這裡大家去百度一下這些關系和定義,應該就大緻明白其設定原則了。設定原則如下:

IP随意設定,但得保證和虛拟機的網關同一網段;DNS可以和網關一緻;子網路遮罩和虛拟機的一緻。

ps:如何檢視虛拟機的網關、掩碼等

打開”編輯“==》虛拟機網絡環境,标示如下:

Windows10虛拟機上的spark環境搭建
Windows10虛拟機上的spark環境搭建

(2) 關閉selinux之後總是開不了機,出現Kernel panic – not syncing: Attempted to kill init

解決辦法:

http://jingyan.baidu.com/article/e9fb46e19c73167521f76681.html

注意,滑鼠一定要點到螢幕上才按E鍵!

(3)出現問題:slave1: ssh: connect to host slave1 port 22: No route to host

(1) 分别對三個虛拟機執行指令ifconfig,檢視各虛拟機ip位址,發現slave1和slave2的IP改變了。

(2) 解決方案:http://www.cnblogs.com/yaox/p/6635312.html

(3) 原因:linux中使用ifconfig指令檢視網卡資訊時顯示為eth1,但是在network-scripts中隻有ifcfg-eth0的配置檔案,并且裡面的NAME=”eth0”。

正常來說,Linux在識别網卡時第一張會是eth0,第二張才是eth1。有時候我們使用虛拟機克隆技術後網卡的資訊就會改變,新克隆出來的虛拟主機網卡名字可能變為eth1.無論我們怎麼修改都無法改變,這就對我們使用N台虛拟機進行HA-heartbeat實驗時造成了困擾。

在這裡成這樣是因為複制系統的過程中複制的檔案已經有一個網卡在/etc/udev/rules.d/70-persistent-net.rules被識别成了eth0,而虛拟機中的識别成了eth1

(4)Xshell工具如何使用 Xshell連接配接linux伺服器、

https://jingyan.baidu.com/article/ed2a5d1f6b31af09f7be1748.html

(5)虛拟機無法全屏顯示:

http://blog.csdn.net/dongjia12345/article/details/37067951

總結:

很感謝小夥伴夏夏的幫助,以及以上所提及的所有部落格和連結筆記,使一個統計學專業出身的我在國慶四天半波折地搭建起了虛拟機和spark環境!

繼續閱讀