ol7.7安裝部署4節(jié)點(diǎn)spark3.0.0分布式集群的詳細(xì)教程
為學(xué)習(xí)spark,虛擬機(jī)中開4臺(tái)虛擬機(jī)安裝spark3.0.0
底層hadoop集群已經(jīng)安裝好,見ol7.7安裝部署4節(jié)點(diǎn)hadoop 3.2.1分布式集群學(xué)習(xí)環(huán)境
首先,去http://spark.apache.org/downloads.html下載對(duì)應(yīng)安裝包
解壓
[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local [hadoop@master ~]$ cd /usr/local [hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark [hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
四個(gè)節(jié)點(diǎn)都添加環(huán)境變量
export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
配置spark
spark目錄中的conf目錄下cp ./conf/spark-env.sh.template ./conf/spark-env.sh后面添加
export SPARK_MASTER_IP=192.168.168.11 export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_LOCAL_DIRS=/usr/local/hadoop export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
然后配置work節(jié)點(diǎn),cp ./conf/slaves.template ./conf/slaves修改為
master
slave1
slave2
slave3
寫死JAVA_HOME,sbin/spark-config.sh最后添加
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
復(fù)制spark目錄到其他節(jié)點(diǎn)
sudo scp -r /usr/local/spark/ slave1:/usr/local/ sudo scp -r /usr/local/spark/ slave2:/usr/local/ sudo scp -r /usr/local/spark/ slave3:/usr/local/ sudo chown -R hadoop ./spark/
...
啟動(dòng)集群
先啟動(dòng)hadoop集群/usr/local/hadoop/sbin/start-all.sh
然后啟動(dòng)spark集群
通過master8080端口監(jiān)控
完成安裝
到此這篇關(guān)于ol7.7安裝部署4節(jié)點(diǎn)spark3.0.0分布式集群的詳細(xì)教程的文章就介紹到這了,更多相關(guān)ol7.7安裝部署spark集群內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
DVWA下載、安裝、使用(漏洞測(cè)試環(huán)境搭建)的詳細(xì)教程
這篇文章主要介紹了DVWA下載、安裝、使用(漏洞測(cè)試環(huán)境搭建)的詳細(xì)教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-10-10MobaXterm連接服務(wù)器如何在關(guān)閉會(huì)話的情況下依然執(zhí)行程序(最新推薦)
這篇文章主要介紹了MobaXterm連接服務(wù)器如何在關(guān)閉會(huì)話的情況下依然執(zhí)行程序,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-06-06使用postman進(jìn)行接口測(cè)試的方法(測(cè)試用戶管理模塊)
這篇文章主要介紹了使用postman進(jìn)行接口測(cè)試的方法(測(cè)試用戶管理模塊),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2021-01-01深度卷積神經(jīng)網(wǎng)絡(luò)各種改進(jìn)結(jié)構(gòu)塊匯總
這篇文章主要為大家介紹了深度卷積神經(jīng)網(wǎng)絡(luò)各種改進(jìn)結(jié)構(gòu)塊匯總,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05多種語言(big5\gbk\gb2312\utf8\Shift_JIS\iso8859-1)的網(wǎng)頁編碼切換解決方案歸納
多種語言(big5\gbk\gb2312\utf8\Shift_JIS\iso8859-1)的網(wǎng)頁編碼切換解決方案歸納2012-06-06如何集成Elasticsearch到django restful
在Django項(xiàng)目中集成Elasticsearch可通過Haystack實(shí)現(xiàn),Haystack作為Django插件提供搜索接口,Elasticsearch作為后端搜索引擎存儲(chǔ)檢索數(shù)據(jù),Haystack支持多種搜索引擎,易于切換且不需改動(dòng)代碼,本文給大家介紹如何集成Elasticsearch到django restful,感興趣的朋友一起看看吧2024-09-09