Spark-shell批量命令執(zhí)行腳本的方法
更新時(shí)間：2018年06月19日 16:34:58 作者：小蝸牛也有夢(mèng)想
今天小編就為大家分享一篇Spark-shell批量命令執(zhí)行腳本的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
批量執(zhí)行spark-shell命令，并指定提交參數(shù)
#!/bin/bash
source /etc/profile
exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out")
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF
以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了shell腳本自動(dòng)安裝jdk的方法示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
iredmail下安裝腳本分析（一）---get_all.sh 文件所在目錄為PKGS
這篇文章主要介紹了iredmail下安裝腳本分析（一）---get_all.sh 文件所在目錄為PKGS的相關(guān)資料,需要的朋友可以參考下2015-10-10
tree是一種遞歸目錄列表命令，產(chǎn)生一個(gè)深度縮進(jìn)列表文件，這是彩色的ALA dircolors如果ls_colors設(shè)置環(huán)境變量和輸出是TTY。下面通過(guò)本文給大家分享linux下tree命令的用法，感興趣的朋友一起看看吧2017-09-09
這篇文章主要為大家分享了Shell 函數(shù)參數(shù),方便學(xué)習(xí)shell腳本的朋友2014-09-09
Shell腳本實(shí)現(xiàn)從文件夾中遞歸復(fù)制文件
這篇文章主要介紹了Shell腳本實(shí)現(xiàn)從文件夾中遞歸復(fù)制文件,本文腳本實(shí)現(xiàn)從十層左右的文件夾中復(fù)制所有文件到一目錄中,需要的朋友可以參考下2015-02-02
Shell腳本中使用for循環(huán)和cat命令實(shí)現(xiàn)按順序合并文件
這篇文章主要介紹了Shell腳本中使用for循環(huán)和cat命令實(shí)現(xiàn)按順序合并文件,本文先是用sed命令來(lái)實(shí)現(xiàn),發(fā)現(xiàn)不能完成需求,后使用for循環(huán)解決,需要的朋友可以參考下2015-01-01
shell腳本輸出多個(gè)主機(jī)的網(wǎng)卡速率的方法
這篇文章主要介紹了shell腳本輸出多個(gè)主機(jī)的網(wǎng)卡速率的方法,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12
這篇文章主要介紹了Linux中退出編輯模式的命令,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-05-05
Shell命令之?dāng)?shù)組表示語(yǔ)法學(xué)習(xí)
這篇文章主要為大家介紹了Shell命令之?dāng)?shù)組表示語(yǔ)法學(xué)習(xí)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-05-05
統(tǒng)計(jì) cpu 內(nèi)存 使用率的shell腳本代碼
統(tǒng)計(jì) cpu 內(nèi)存使用率的腳本，有需要的朋友可以參考下2013-02-02