離線安裝 Mesos for Spark running on Cent OS 6.3

前面我們提到 Spark 可以運行3種 cluster 模式，之前介紹過了 standalone，現在要介紹 Mesos
安裝 Mesos時，我發現到先前安裝的OS環境已不被支援，哭哭，於是重新安裝新的作業系統
由於我手邊沒有較新的版本，所以我從5.8換成6.3的版本而已!
如果您有較新的版本，建議使用6.6以上的版本。

許多網頁介紹了不少線上安裝的模式，但一往之前，今天也是離線安裝的版本。

我的順序是:
(1)安裝 jdk
(2)安裝 spark
(3)安裝 mesos

前兩個步驟請 follow 前面文章的介紹

我們直接開始步驟三
1. Download Mesos from 這裡
2. rpm -Uvh xxx

3.修改 mesos 啟動 master的設定檔

4.至你的Spark/conf 目錄下 將 spark-env.sh.template 複製一份改名為 spark-env.sh(前面Spark教學做過)

#cp spark-env.sh.template spark-env.sh

5.vi spark-env.sh 在下面加入

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos-0.24.1.so

理論上 default 會安裝在 /usr/local/lib下(*請根據你的版本及路徑修改)

#初始安裝及設定至此已快速完成---------------------------------------------------------

開始執行程式嘍!

(1)啟動 mesos master

mesos-master --ip=192.168.11.79 --work_dir=/var/lib/mesos

(2)啟動 mesos slave

mesos-slave --master=192.168.11.79:5050

#用瀏覽器觀察 192.168.11.79:5050

(3)用spark-shell 執行程式於 mesos

spark-shell --master mesos://192.168.11.79:5050

這邊僅呈現 spark-shell …呈現的結果

在spark-shell 執行時 你會發現它會 submit 8個 tasks.

至於 範例程式於先前文章即可複製

恭喜 完成嘍!