欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

shell命令執(zhí)行hive腳本(hive交互)

 更新時間:2022年02月25日 15:18:18   作者:longshenlmj  
本文主要介紹了shell命令執(zhí)行hive腳本(hive交互),文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下

Hive執(zhí)行方式

Hive的hql命令執(zhí)行方式有三種:

1、CLI 方式直接執(zhí)行
2、作為字符串通過shell調用hive –e執(zhí)行(-S開啟靜默,去掉”OK”,”Time taken”)
3、作為獨立文件,通過shell調用 hive –f或hive –i執(zhí)行執(zhí)行

方式1

鍵入“hive”,啟動hive的cli交互模式。Set可以查看所有環(huán)境設置參數,并可以重設。其他命令如,
    Use database        選擇庫
    quit/exit   退出Hive的交互模式 
    set –v  顯示Hive中的所有變量
    set <key>=<value>       設置參數
    執(zhí)行本地shell :!<cmd>       交互模式下可執(zhí)行shell命令,例如(查看linux根目錄下文件列表:"!ls -l /;")
    操作云命令:dfs < command>        交互模式下直接操作hadoop命令如 dfs fs –ls
    Hql語句       執(zhí)行查詢并輸出到標準輸出
    add [FILE|JAR|ARCHIVE] <value> [<value>]*       增加一個文件到資源列表
    list FILE       列出所有已經添加的資源

方式二

Hql作為字符串在shell腳本中執(zhí)行,如
    hive -e "use ${database};select * from tb"
查詢結果可以直接導出到本地本件(默認分隔符為\t):
    hive -e "select * from tb" > tb.txt

如果需要查看執(zhí)行步驟,則在命令前面添加

set –x

另外,在shell腳本中,字符串有兩種定義方式:

1)  直接定義字符串對象:sql=”字符串”

2)  通過命令定義:sql=$(cat <<endtag 字符串endtag)方式可以將字符串復制給sql,執(zhí)行hql命令的shell腳本如下:

####### execute hive ######
sql=$(cat <<!EOF

USE pmp;
set mapred.queue.names=queue3;

drop table if exists people_targeted_delivery;
create table people_targeted_delivery
( special_tag_id int,
? cnt bigint
);

INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'?
select special_tag_id,count(1)?
from t_pmp_special_user_tags
group by special_tag_id;

!EOF)
############ ?execute begin ? ###########
echo $sql
$HIVE_HOME/bin/hive -e "$sql"

exitCode=$?
if [ $exitCode -ne 0 ];then
? ? ? ? ?echo "[ERROR] hive execute failed!"
? ? ? ? ?exit $exitCode
fi

方式三

將hql語句保存為獨立文件,后綴名不限制,可以用.q或者.hql作為標識:
    A,這個文件在cli模式下,用source命令執(zhí)行,如:source ./mytest.hql
    B,在shell中執(zhí)行命令,如:hive -f  mytest.sql

Hive指定預執(zhí)行文件命令“hive –i”(或叫初始化文件)

命令:hive -i hive-script.sql
在hive啟動cli之前,先執(zhí)行指定文件(hive-script.sql)中的命令。
也就是說,允許用戶在cli啟動時預先執(zhí)行一個指定文件,比如,有一些常用的環(huán)境參數設置,頻繁執(zhí)行的命令,可以添加在初始化文件中,比如,
    某些參數設置
        set mapred.queue.names=queue3;
        SET mapred.reduce.tasks=14;
    添加udf文件
        add JAR ./playdata-hive-udf.jar;
    設置Hive的日志級別 
        hive -hiveconf hive.root.logger=INFO;

到此這篇關于shell命令執(zhí)行hive腳本(hive交互)的文章就介紹到這了,更多相關shell命令執(zhí)行hive內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • 用expect實現的自動登錄到多臺服務器的shell腳本

    用expect實現的自動登錄到多臺服務器的shell腳本

    自動登錄到多臺服務器的shell腳本,用expect來實現的一段代碼,需要的朋友可以參考下
    2013-02-02
  • linux Shell獲取某目錄下所有文件夾的名稱

    linux Shell獲取某目錄下所有文件夾的名稱

    這篇文章主要介紹了linux Shell獲取某目錄下所有文件夾的名稱,需要的朋友可以參考下
    2017-05-05
  • Shell定時刪除指定時間之前的文件

    Shell定時刪除指定時間之前的文件

    這篇文章主要介紹了Shell定時刪除指定時間之前的文件,本文用來刪除一個月之前的備份文件,并加入到crontag定時刪除,需要的朋友可以參考下
    2014-12-12
  • Bash Shell字符串操作小結

    Bash Shell字符串操作小結

    這篇文章主要介紹了Bash Shell字符串操作總結,包含取長度、截取、查找位置、替換等等,需要的朋友可以參考下
    2014-05-05
  • linux下實現ftp自動備份shell腳本

    linux下實現ftp自動備份shell腳本

    ftp命令把遠程計算機上的文件傳輸到本地計算機時,需要和用戶交互。怎樣使交互過程自動化呢
    2013-01-01
  • Bash Shell腳本學習小結

    Bash Shell腳本學習小結

    今天需要寫一個Shell腳本。很簡單,判斷一個日志文件是否大大于2G,如果大于2G則刪除。久了沒有寫bash,竟然一點都想不起來寫了。于是復習了一下,下面對今天的學習做個小結
    2013-01-01
  • shell實現貪吃蛇的示例代碼

    shell實現貪吃蛇的示例代碼

    本文主要介紹了shell實現貪吃蛇的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-05-05
  • Linux修改主機名的命令詳解

    Linux修改主機名的命令詳解

    通常在購買的服務器或者一些新安裝的Linux系統(tǒng)主機名是一個隨機的字符串,但是如果說我們想標識一下每臺主機的名稱,我們就可以修改一下主機名,所以本文給大家介紹了Linux修改主機名的命令,需要的朋友可以參考下
    2024-01-01
  • shell基礎學習中的字符串操作、for循環(huán)語句示例

    shell基礎學習中的字符串操作、for循環(huán)語句示例

    這篇文章主要介紹了shell基礎學習中的字符串操作、for循環(huán)語句示例
    2014-04-04
  • shell傳參并將參數傳遞給sql文件的方法

    shell傳參并將參數傳遞給sql文件的方法

    今天小編就為大家分享一篇shell傳參并將參數傳遞給sql文件的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-06-06

最新評論