Spark-shell批量命令執(zhí)行腳本的方法
更新時間:2018年06月19日 16:34:58 作者:小蝸牛也有夢想
今天小編就為大家分享一篇Spark-shell批量命令執(zhí)行腳本的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
批量執(zhí)行spark-shell命令,并指定提交參數(shù)
#!/bin/bash source /etc/profile exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF import org.apache.spark.sql.SaveMode sql("set hive.exec.dynamic.partition=true") sql("set hive.exec.dynamic.partition.mode=nonstrict") sql("use hr") sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count !EOF
以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
iredmail下安裝腳本分析(一)---get_all.sh 文件所在目錄為PKGS
這篇文章主要介紹了iredmail下安裝腳本分析(一)---get_all.sh 文件所在目錄為PKGS的相關(guān)資料,需要的朋友可以參考下2015-10-10Shell腳本實現(xiàn)從文件夾中遞歸復(fù)制文件
這篇文章主要介紹了Shell腳本實現(xiàn)從文件夾中遞歸復(fù)制文件,本文腳本實現(xiàn)從十層左右的文件夾中復(fù)制所有文件到一目錄中,需要的朋友可以參考下2015-02-02Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件
這篇文章主要介紹了Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件,本文先是用sed命令來實現(xiàn),發(fā)現(xiàn)不能完成需求,后使用for循環(huán)解決,需要的朋友可以參考下2015-01-01shell腳本輸出多個主機(jī)的網(wǎng)卡速率的方法
這篇文章主要介紹了shell腳本輸出多個主機(jī)的網(wǎng)卡速率的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12Shell命令之?dāng)?shù)組表示語法學(xué)習(xí)
這篇文章主要為大家介紹了Shell命令之?dāng)?shù)組表示語法學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-05-05統(tǒng)計 cpu 內(nèi)存 使用率的shell腳本代碼
統(tǒng)計 cpu 內(nèi)存使用率的腳本,有需要的朋友可以參考下2013-02-02