欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

ol7.7安裝部署4節(jié)點spark3.0.0分布式集群的詳細教程

 更新時間：2020年07月10日 11:42:30   作者：九命貓幺  
這篇文章主要介紹了安裝部署4節(jié)點spark3.0.0分布式集群，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下

為學習spark，虛擬機中開4臺虛擬機安裝spark3.0.0

底層hadoop集群已經(jīng)安裝好，見ol7.7安裝部署4節(jié)點hadoop 3.2.1分布式集群學習環(huán)境

首先，去http://spark.apache.org/downloads.html下載對應安裝包

解壓

[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local
[hadoop@master ~]$ cd /usr/local
[hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark
[hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark

四個節(jié)點都添加環(huán)境變量

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

配置spark

spark目錄中的conf目錄下cp ./conf/spark-env.sh.template ./conf/spark-env.sh后面添加

export SPARK_MASTER_IP=192.168.168.11
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_LOCAL_DIRS=/usr/local/hadoop
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

然后配置work節(jié)點，cp ./conf/slaves.template ./conf/slaves修改為

master
slave1
slave2
slave3

寫死JAVA_HOME，sbin/spark-config.sh最后添加

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191

復制spark目錄到其他節(jié)點

sudo scp -r /usr/local/spark/ slave1:/usr/local/
sudo scp -r /usr/local/spark/ slave2:/usr/local/
sudo scp -r /usr/local/spark/ slave3:/usr/local/
sudo chown -R hadoop ./spark/

...

啟動集群

先啟動hadoop集群/usr/local/hadoop/sbin/start-all.sh

然后啟動spark集群

通過master8080端口監(jiān)控

完成安裝

到此這篇關于ol7.7安裝部署4節(jié)點spark3.0.0分布式集群的詳細教程的文章就介紹到這了,更多相關ol7.7安裝部署spark集群內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

相關文章

  • DVWA下載、安裝、使用(漏洞測試環(huán)境搭建)的詳細教程

    DVWA下載、安裝、使用(漏洞測試環(huán)境搭建)的詳細教程

    這篇文章主要介紹了DVWA下載、安裝、使用(漏洞測試環(huán)境搭建)的詳細教程,本文通過圖文并茂的形式給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2020-10-10
  • grafana安裝及使用教程詳解

    grafana安裝及使用教程詳解

    這篇文章主要介紹了grafana安裝及使用教程詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2021-01-01
  • 好玩的vbs小程序之關機功能

    好玩的vbs小程序之關機功能

    這篇文章主要介紹了好玩的vbs小程序之關機功能,非常有趣，感興趣的朋友跟隨小編一起看看吧
    2019-09-09
  • MobaXterm連接服務器如何在關閉會話的情況下依然執(zhí)行程序(最新推薦)

    MobaXterm連接服務器如何在關閉會話的情況下依然執(zhí)行程序(最新推薦)

    這篇文章主要介紹了MobaXterm連接服務器如何在關閉會話的情況下依然執(zhí)行程序,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2023-06-06
  • 使用postman進行接口測試的方法(測試用戶管理模塊)

    使用postman進行接口測試的方法(測試用戶管理模塊)

    這篇文章主要介紹了使用postman進行接口測試的方法(測試用戶管理模塊)，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友參考下吧
    2021-01-01
  • 總結一些你可能不知道的ip地址

    總結一些你可能不知道的ip地址

    IP對大家來說應該再熟悉不過了，但其實IP地址有一些不為人知的事情，可能你并不知道。例如短IP、不同進制的ip等，所以下面這篇文章主要給大家總結介紹了一些你可能不知道的ip地址知識，需要的朋友可以參考借鑒，下面來一起看看吧。
    2017-07-07
  • 深度卷積神經(jīng)網(wǎng)絡各種改進結構塊匯總

    深度卷積神經(jīng)網(wǎng)絡各種改進結構塊匯總

    這篇文章主要為大家介紹了深度卷積神經(jīng)網(wǎng)絡各種改進結構塊匯總，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
    2022-05-05
  • OAuth 2.0授權協(xié)議詳解

    OAuth 2.0授權協(xié)議詳解

    這篇文章主要介紹了OAuth 2.0授權協(xié)議詳解,本文對OAuth協(xié)議做了詳解講解,對OAuth協(xié)議的各個方面做了分解,讀完本文你就會知道到底啥是OAuth了,需要的朋友可以參考下
    2014-09-09
  • 多種語言(big5\gbk\gb2312\utf8\Shift_JIS\iso8859-1)的網(wǎng)頁編碼切換解決方案歸納

    多種語言(big5\gbk\gb2312\utf8\Shift_JIS\iso8859-1)的網(wǎng)頁編碼切換解決方案歸納

    多種語言(big5\gbk\gb2312\utf8\Shift_JIS\iso8859-1)的網(wǎng)頁編碼切換解決方案歸納
    2012-06-06
  • 如何集成Elasticsearch到django restful

    如何集成Elasticsearch到django restful

    在Django項目中集成Elasticsearch可通過Haystack實現(xiàn),Haystack作為Django插件提供搜索接口,Elasticsearch作為后端搜索引擎存儲檢索數(shù)據(jù),Haystack支持多種搜索引擎,易于切換且不需改動代碼,本文給大家介紹如何集成Elasticsearch到django restful,感興趣的朋友一起看看吧
    2024-09-09

最新評論