Spark-submit on Mesos Cluster

緊接著前一篇文章
基本上所謂的正式環境(Production mode)應該都會是Cluster的架構吧!
但是我目前沒有多台機器測試，所以我還是使用單機以不同的port來當作新的機器

首先請確認你有照著前一篇文章install mesos and run spark-shell on mesos
並在 spark-env.sh 有配置好 libmesos....so的位置 

1.啟動 mesos-master
  $ mesos-master.sh --ip=192.168.11.79 --work_dir=/var/lib/mesos

#觀察 http://192.168.11.79:5050

2.啟動 mesos-slave
 $mesos-slave.sh --master=192.168.11.79:5050 --port=5051 --work_dir=/tmp/mesos

3.啟動 start-mesos-dispatcher
 $./start-mesos-dispatcher.sh --master mesos:/192.168.11.79:5050

#註:start-mesos-dispatcher位置在 Spark安裝路徑的 /sbin下
 mesos-master 及 mesos-slave 安裝時已在自動在 PATH下了可直接下指令

4.至你要測試的jar檔目錄下執行 spark-submit
 $spark-submit --deploy-mode cluster --master mesos://192.168.11.79:7077 --class "SimpleApp" SimpleAppV2.jar

成功的結果如下圖可以使用瀏覽器觀察
submit成功的畫面(第三次submit的截圖，注意Driver ID)

恭喜又成功嘍!