Python搭建Spark分布式集群環(huán)境
前言
Apache Spark 是一個(gè)新興的大數(shù)據(jù)處理通用引擎，提供了分布式的內(nèi)存抽象。Spark 最大的特點(diǎn)就是快，可比 Hadoop MapReduce 的處理速度快 100 倍。本文沒(méi)有使用一臺(tái)電腦上構(gòu)建多個(gè)虛擬機(jī)的方法來(lái)模擬集群，而是使用三臺(tái)電腦來(lái)搭建一個(gè)小型分布式集群環(huán)境安裝。
本教程采用Spark2.0以上版本（比如Spark2.0.2、Spark2.1.0等）搭建集群，同樣適用于搭建Spark1.6.2集群。
安裝Hadoop并搭建好Hadoop集群環(huán)境
Spark分布式集群的安裝環(huán)境，需要事先配置好Hadoop的分布式集群環(huán)境。
安裝Spark
這里采用3臺(tái)機(jī)器（節(jié)點(diǎn)）作為實(shí)例來(lái)演示如何搭建Spark集群，其中1臺(tái)機(jī)器（節(jié)點(diǎn)）作為Master節(jié)點(diǎn)，另外兩臺(tái)機(jī)器（節(jié)點(diǎn)）作為Slave節(jié)點(diǎn)（即作為Worker節(jié)點(diǎn)），主機(jī)名分別為Slave01和Slave02。
在Master節(jié)點(diǎn)機(jī)器上，訪問(wèn)Spark官方下載地址，按照如下圖下載。
下載完成后，執(zhí)行如下命令：
sudo tar -zxf ~/下載/spark-2.0.2-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.0.2-bin-without-hadoop/ ./spark sudo chown -R hadoop ./spark
配置環(huán)境變量
在Mster節(jié)點(diǎn)主機(jī)的終端中執(zhí)行如下命令：
vim ~/.bashrc
在.bashrc添加如下配置：
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
執(zhí)行如下命令使得配置立即生效：
source ~/.bashrc
Spark配置
在Master節(jié)點(diǎn)主機(jī)上進(jìn)行如下操作：
配置slaves文件
將 slaves.template 拷貝到 slaves
cd /usr/local/spark/ cp ./conf/slaves.template ./conf/slaves
slaves文件設(shè)置Worker節(jié)點(diǎn)。編輯slaves內(nèi)容,把默認(rèn)內(nèi)容localhost替換成如下內(nèi)容：
slave01 slave02
配置spark-env.sh文件
將 spark-env.sh.template 拷貝到 spark-env.sh
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
編輯spark-env.sh,添加如下內(nèi)容：
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath) export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=192.168.1.104
SPARK_MASTER_IP 指定 Spark 集群 Master 節(jié)點(diǎn)的 IP 地址；
配置好后，將Master主機(jī)上的/usr/local/spark文件夾復(fù)制到各個(gè)節(jié)點(diǎn)上。在Master主機(jī)上執(zhí)行如下命令：
cd /usr/local/ tar -zcf ~/spark.master.tar.gz ./spark cd ~ scp ./spark.master.tar.gz slave01:/home/hadoop scp ./spark.master.tar.gz slave02:/home/hadoop
在slave01,slave02節(jié)點(diǎn)上分別執(zhí)行下面同樣的操作：
sudo rm -rf /usr/local/spark/ sudo tar -zxf ~/spark.master.tar.gz -C /usr/local sudo chown -R hadoop /usr/local/spark
啟動(dòng)Spark集群
啟動(dòng)Hadoop集群
啟動(dòng)Spark集群前，要先啟動(dòng)Hadoop集群。在Master節(jié)點(diǎn)主機(jī)上運(yùn)行如下命令：
cd /usr/local/hadoop/ sbin/start-all.sh
啟動(dòng)Spark集群
1.啟動(dòng)Master節(jié)點(diǎn)
在Master節(jié)點(diǎn)主機(jī)上運(yùn)行如下命令：
cd /usr/local/spark/ sbin/start-master.sh
在Master節(jié)點(diǎn)上運(yùn)行jps命令，可以看到多了個(gè)Master進(jìn)程：
15093 Jps 14343 SecondaryNameNode 14121 NameNode 14891 Master 14509 ResourceManager
2.啟動(dòng)所有Slave節(jié)點(diǎn)
在Master節(jié)點(diǎn)主機(jī)上運(yùn)行如下命令：
sbin/start-slaves.sh
分別在slave01、slave02節(jié)點(diǎn)上運(yùn)行jps命令，可以看到多了個(gè)Worker進(jìn)程
37553 DataNode 37684 NodeManager 37876 Worker 37924 Jps
3.在瀏覽器上查看Spark獨(dú)立集群管理器的集群信息
在master主機(jī)上打開(kāi)瀏覽器，訪問(wèn)http://master:8080,如下圖：
關(guān)閉Spark集群
1.關(guān)閉Master節(jié)點(diǎn)
sbin/stop-master.sh
2.關(guān)閉Worker節(jié)點(diǎn)
sbin/stop-slaves.sh
3.關(guān)閉Hadoop集群
cd /usr/local/hadoop/ sbin/stop-all.sh
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
決策樹(shù)剪枝算法的python實(shí)現(xiàn)方法詳解
這篇文章主要介紹了決策樹(shù)剪枝算法的python實(shí)現(xiàn)方法,結(jié)合實(shí)例形式較為詳細(xì)的分析了決策樹(shù)剪枝算法的概念、原理并結(jié)合實(shí)例形式分析了Python相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2019-09-09
在Pycharm中設(shè)置默認(rèn)自動(dòng)換行的方法
今天小編就為大家分享一篇在Pycharm中設(shè)置默認(rèn)自動(dòng)換行的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-01-01
Python著名游戲?qū)崙?zhàn)之方塊連接 我的世界
讀萬(wàn)卷書(shū)不如行萬(wàn)里路，學(xué)的扎不扎實(shí)要通過(guò)實(shí)戰(zhàn)才能看出來(lái)，本篇文章手把手帶你模仿著名游戲——我的世界,大家可以在過(guò)程中查缺補(bǔ)漏，看看自己掌握程度怎么樣2021-10-10
本文主要介紹了Python獲取svn版本信息，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章介紹了Python中深拷貝與淺拷貝的區(qū)別，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-06-06
python2.7安裝opencv-python很慢且總是失敗問(wèn)題
這篇文章主要介紹了python2.7安裝opencv-python很慢且總是失敗問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
Python wxPython庫(kù)消息對(duì)話框MessageDialog用法示例
這篇文章主要介紹了Python wxPython庫(kù)消息對(duì)話框MessageDialog用法,結(jié)合實(shí)例形式簡(jiǎn)單分析了wxPython庫(kù)的基本事件與相關(guān)使用技巧,需要的朋友可以參考下2018-09-09
python實(shí)現(xiàn)web應(yīng)用框架之增加動(dòng)態(tài)路由
這篇文章主要介紹web應(yīng)用框架如何添加動(dòng)態(tài)路由，在我們編寫(xiě)的框架中，我們添加動(dòng)態(tài)路由，是使用了正則表達(dá)式，同時(shí)在注冊(cè)的時(shí)候，需要注明該路由是請(qǐng)求路由，文中有詳細(xì)的代碼示例，需要的朋友可以參考下2023-05-05
基于python實(shí)現(xiàn)語(yǔ)音錄入識(shí)別代碼實(shí)例
這篇文章主要介紹了如何通過(guò)python實(shí)現(xiàn)語(yǔ)音錄入識(shí)別,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
python return邏輯判斷表達(dá)式實(shí)現(xiàn)解析
這篇文章主要介紹了python return邏輯判斷表達(dá)式實(shí)現(xiàn)解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12