大數(shù)據(jù)spark3.5安裝部署之local模式詳解
spark，一個(gè)數(shù)據(jù)處理框架和計(jì)算引擎。
下載
local模式即本地模式，就是不需要任何其他節(jié)點(diǎn)資源就可以在本地執(zhí)行spark代碼的環(huán)境。用于練習(xí)演示。
上傳解壓
使用PortX將文件上傳至/opt
進(jìn)入/opt目錄，創(chuàng)建目錄module，解壓文件至/opt/module
進(jìn)入module，并修改名稱
配置jdk
啟動spark前要安裝jdk，上傳jdk文件
解壓
tar zxvf jdk-8u271-linux-x64.tar.gz
配置環(huán)境變量
以root用戶配置環(huán)境變量
cd ~
保存后，以root用戶，執(zhí)行source .profle，使更改生效，并驗(yàn)證。
啟動查看
進(jìn)入spark-local，執(zhí)行命令bin/spark-shell 啟動spark，如下所示則成功啟動
啟動成功后，可以通過瀏覽器訪問WebUI監(jiān)控頁面
http://ip:4040
交互操作
使用命令行或者提交作業(yè)的方式，與spark進(jìn)行交互。
命令行
進(jìn)入spark目錄中的data文件夾，添加test.txt文件
vi test.txt
進(jìn)入spark-standalone/bin目錄，執(zhí)行./spark-shell，啟動命令行，執(zhí)行以下內(nèi)容
sc.textFile("../data/test.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect
退出Ctrl+c或者輸入:quit后回車
提交應(yīng)用
對于公司大數(shù)據(jù)的批量處理或周期性數(shù)據(jù)分析/處理任務(wù)，通常采用編寫好的Spark程序，并通過Spark-submit指令的方式提交給Spark集群進(jìn)行具體的任務(wù)計(jì)算。
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
./examples/jars/spark-examples_2.12-3.5.5.jar \
10
備注：路徑等信息如下，示例代碼都位于spark目錄中。
到此這篇關(guān)于大數(shù)據(jù)spark3.5安裝部署之local模式詳解的文章就介紹到這了,更多相關(guān)spark安裝部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
最近需要打開文件后綴名為.xmind的文件，所以下載了Xmind8?。打開以后想要導(dǎo)出，奈何普通版本只能導(dǎo)出.txt文本文檔，所以就總結(jié)出了這篇文章，對Xmind8?Pro破解方法感興趣的朋友跟隨小編一起看看吧2021-05-05
這篇文章主要為大家介紹了git版本庫以及本地創(chuàng)建的三種場景方式圖文教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
前幾天寫了個(gè)工具 CookieAdmin 來查看 IE 的 Cookie 有人問到實(shí)現(xiàn)原理，就寫了這篇文章 我不善于寫文檔或文章，所以還是代碼說話吧2009-12-12
這篇文章主要介紹了科學(xué)知識：同步、異步、阻塞和非阻塞區(qū)別,本文分別講解了這些概念,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了matlab畫三維圖像的示例代碼(附demo),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
IntelliJ IDEA下的SVN使用(傻瓜式教學(xué))
這篇文章主要介紹了IntelliJ IDEA下的SVN使用(傻瓜式教學(xué))，文中通過圖文示例介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
在說解釋執(zhí)行和編譯執(zhí)行之前先說幾個(gè)概念，需要的朋友可以參考下。2011-09-09
前端遇到302重定向問題處理方式及設(shè)置第三方Cookie研究
這篇文章主要給大家介紹了關(guān)于前端遇到302重定向問題處理方式及設(shè)置第三方Cookie研究的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-10-10
本文主要介紹了Selenium IDE安裝及使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
MobaXterm是一款SSH客戶端，連接并操作Linux服務(wù)器，這篇文章主要介紹了MobaXterm安裝使用圖文教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-05-05