欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Spark-shell批量命令執(zhí)行腳本的方法

 更新時間:2018年06月19日 16:34:58   作者:小蝸牛也有夢想  
今天小編就為大家分享一篇Spark-shell批量命令執(zhí)行腳本的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

批量執(zhí)行spark-shell命令,并指定提交參數(shù)

#!/bin/bash

source /etc/profile

exec $SPARK_HOME/bin/spark-shell --queue tv --name spark-sql-test --executor-cores 8 --executor-memory 8g --num-executors 8 --conf spark.cleaner.ttl=240000 <<!EOF
import org.apache.spark.sql.SaveMode
sql("set hive.exec.dynamic.partition=true")
sql("set hive.exec.dynamic.partition.mode=nonstrict")
sql("use hr")
sql("SELECT * FROM t_abc ").rdd.saveAsTextFile("/tmp/out") 
sql("SELECT * FROM t_abc").rdd.map(_.toString).intersection(sc.textFile("/user/hdfs/t2_abc").map(_.toString).distinct).count
!EOF

以上這篇Spark-shell批量命令執(zhí)行腳本的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • shell腳本自動安裝jdk的方法示例

    shell腳本自動安裝jdk的方法示例

    這篇文章主要介紹了shell腳本自動安裝jdk的方法示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • iredmail下安裝腳本分析(一)---get_all.sh 文件所在目錄為PKGS

    iredmail下安裝腳本分析(一)---get_all.sh 文件所在目錄為PKGS

    這篇文章主要介紹了iredmail下安裝腳本分析(一)---get_all.sh 文件所在目錄為PKGS的相關(guān)資料,需要的朋友可以參考下
    2015-10-10
  • 詳解linux下tree命令的用法

    詳解linux下tree命令的用法

    tree是一種遞歸目錄列表命令,產(chǎn)生一個深度縮進(jìn)列表文件,這是彩色的ALA dircolors如果ls_colors設(shè)置環(huán)境變量和輸出是TTY。下面通過本文給大家分享linux下tree命令的用法,感興趣的朋友一起看看吧
    2017-09-09
  • Shell 函數(shù)參數(shù)

    Shell 函數(shù)參數(shù)

    這篇文章主要為大家分享了Shell 函數(shù)參數(shù),方便學(xué)習(xí)shell腳本的朋友
    2014-09-09
  • Shell腳本實現(xiàn)從文件夾中遞歸復(fù)制文件

    Shell腳本實現(xiàn)從文件夾中遞歸復(fù)制文件

    這篇文章主要介紹了Shell腳本實現(xiàn)從文件夾中遞歸復(fù)制文件,本文腳本實現(xiàn)從十層左右的文件夾中復(fù)制所有文件到一目錄中,需要的朋友可以參考下
    2015-02-02
  • Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件

    Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件

    這篇文章主要介紹了Shell腳本中使用for循環(huán)和cat命令實現(xiàn)按順序合并文件,本文先是用sed命令來實現(xiàn),發(fā)現(xiàn)不能完成需求,后使用for循環(huán)解決,需要的朋友可以參考下
    2015-01-01
  • shell腳本輸出多個主機的網(wǎng)卡速率的方法

    shell腳本輸出多個主機的網(wǎng)卡速率的方法

    這篇文章主要介紹了shell腳本輸出多個主機的網(wǎng)卡速率的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-12-12
  • 詳解Linux中退出編輯模式的命令

    詳解Linux中退出編輯模式的命令

    這篇文章主要介紹了Linux中退出編輯模式的命令,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值 ,需要的朋友可以參考下
    2019-05-05
  • Shell命令之?dāng)?shù)組表示語法學(xué)習(xí)

    Shell命令之?dāng)?shù)組表示語法學(xué)習(xí)

    這篇文章主要為大家介紹了Shell命令之?dāng)?shù)組表示語法學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-05-05
  • 統(tǒng)計 cpu 內(nèi)存 使用率的shell腳本代碼

    統(tǒng)計 cpu 內(nèi)存 使用率的shell腳本代碼

    統(tǒng)計 cpu 內(nèi)存使用率的腳本,有需要的朋友可以參考下
    2013-02-02

最新評論