Spark集群部署

本次博文希望對各位Spark技術研究者有用。

第四步：創(chuàng)建虛擬機
基于創(chuàng)建的鏡像，生成2臺虛擬機，加上最開始用于創(chuàng)建鏡像的1臺，一共3臺虛擬主機，名稱分別為：
spark_hadoop_master
spark_hadoop_slave1
spark_hadoop_slave2
下面就可以開始做與創(chuàng)建Spark集群相關的操作了。
第五步：設置主機名
1.在/etc/hostname中就改主機名，分別設置三臺主機為master、slave1、slave2，并重啟

2.重啟之后，分別設置三個節(jié)點etc/hosts，指定ip和主機名的對應關系。

通過測試root@master :~# ssh slave1，在輸入root用戶密碼后可以登錄。
第六步：修改ssh無密碼訪問
首先開啟root用戶訪問權(quán)限
1.修改/etc/ssh/sshd-config文件，設置如下：
2.PermitRootLogin yes
3.PubkeyAuthentication yes
4.PasswordAuthentication yes
重新啟動ssh服務：service ssh restart
再進行如下測試，可以免輸入密碼登錄了。

第七步：配置Spark集群
進入Spark的conf目錄：

把spark-env.sh.template拷貝為spark-env.sh
把slaves.template拷貝為slaves

vim打開spark-env.sh修改其中的內(nèi)容，加入以下設置

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_80
export SPARK_MASTER_IP=192.168.12.154
export SPARK_WORKER_MEMORY=4g
export SCALA_HOME=/usr/lib/scala/scala-2.11.7
export HADOOP_CONF_DIR=/home/supermap/program/hadoop-2.6.3/conf

SPARK_WORKER_MEMORY：制定的Worker節(jié)點能夠分配給Excutors的內(nèi)存大小，由于配置的虛擬機是4g內(nèi)存，為了限度使用內(nèi)存，這里設置4G。
接下來配置slaves文件，把Workers節(jié)點都添加進去：

這種配置把master也作為一個Worker節(jié)點。

以上配置在master和slave1，slave2節(jié)點都做相同處理。

第八步：啟動集群
這里測試沒有啟動Hadoop集群，只需要Spark集群進行啟動即可，在Spark目錄下，運行sbin/start-all.sh即可啟動集群服務。

最后通過訪問spark管理頁面查看服務狀態(tài)