shell命令執(zhí)行hive腳本(hive交互)
Hive執(zhí)行方式
Hive的hql命令執(zhí)行方式有三種:
1、CLI 方式直接執(zhí)行
2、作為字符串通過shell調(diào)用hive –e執(zhí)行(-S開啟靜默,去掉”OK”,”Time taken”)
3、作為獨立文件,通過shell調(diào)用 hive –f或hive –i執(zhí)行執(zhí)行
方式1
鍵入“hive”,啟動hive的cli交互模式。Set可以查看所有環(huán)境設(shè)置參數(shù),并可以重設(shè)。其他命令如, Use database 選擇庫 quit/exit 退出Hive的交互模式 set –v 顯示Hive中的所有變量 set <key>=<value> 設(shè)置參數(shù) 執(zhí)行本地shell :!<cmd> 交互模式下可執(zhí)行shell命令,例如(查看linux根目錄下文件列表:"!ls -l /;") 操作云命令:dfs < command> 交互模式下直接操作hadoop命令如 dfs fs –ls Hql語句 執(zhí)行查詢并輸出到標(biāo)準(zhǔn)輸出 add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加一個文件到資源列表 list FILE 列出所有已經(jīng)添加的資源
方式二
Hql作為字符串在shell腳本中執(zhí)行,如 hive -e "use ${database};select * from tb" 查詢結(jié)果可以直接導(dǎo)出到本地本件(默認(rèn)分隔符為\t): hive -e "select * from tb" > tb.txt
如果需要查看執(zhí)行步驟,則在命令前面添加
set –x
另外,在shell腳本中,字符串有兩種定義方式:
1) 直接定義字符串對象:sql=”字符串”
2) 通過命令定義:sql=$(cat <<endtag 字符串endtag)方式可以將字符串復(fù)制給sql,執(zhí)行hql命令的shell腳本如下:
####### execute hive ###### sql=$(cat <<!EOF USE pmp; set mapred.queue.names=queue3; drop table if exists people_targeted_delivery; create table people_targeted_delivery ( special_tag_id int, ? cnt bigint ); INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'? select special_tag_id,count(1)? from t_pmp_special_user_tags group by special_tag_id; !EOF) ############ ?execute begin ? ########### echo $sql $HIVE_HOME/bin/hive -e "$sql" exitCode=$? if [ $exitCode -ne 0 ];then ? ? ? ? ?echo "[ERROR] hive execute failed!" ? ? ? ? ?exit $exitCode fi
方式三
將hql語句保存為獨立文件,后綴名不限制,可以用.q或者.hql作為標(biāo)識:
A,這個文件在cli模式下,用source命令執(zhí)行,如:source ./mytest.hql
B,在shell中執(zhí)行命令,如:hive -f mytest.sql
Hive指定預(yù)執(zhí)行文件命令“hive –i”(或叫初始化文件)
命令:hive -i hive-script.sql 在hive啟動cli之前,先執(zhí)行指定文件(hive-script.sql)中的命令。 也就是說,允許用戶在cli啟動時預(yù)先執(zhí)行一個指定文件,比如,有一些常用的環(huán)境參數(shù)設(shè)置,頻繁執(zhí)行的命令,可以添加在初始化文件中,比如, 某些參數(shù)設(shè)置 set mapred.queue.names=queue3; SET mapred.reduce.tasks=14; 添加udf文件 add JAR ./playdata-hive-udf.jar; 設(shè)置Hive的日志級別 hive -hiveconf hive.root.logger=INFO;
到此這篇關(guān)于shell命令執(zhí)行hive腳本(hive交互)的文章就介紹到這了,更多相關(guān)shell命令執(zhí)行hive內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
用expect實現(xiàn)的自動登錄到多臺服務(wù)器的shell腳本
自動登錄到多臺服務(wù)器的shell腳本,用expect來實現(xiàn)的一段代碼,需要的朋友可以參考下2013-02-02Bash Shell腳本學(xué)習(xí)小結(jié)
今天需要寫一個Shell腳本。很簡單,判斷一個日志文件是否大大于2G,如果大于2G則刪除。久了沒有寫bash,竟然一點都想不起來寫了。于是復(fù)習(xí)了一下,下面對今天的學(xué)習(xí)做個小結(jié)2013-01-01shell基礎(chǔ)學(xué)習(xí)中的字符串操作、for循環(huán)語句示例
這篇文章主要介紹了shell基礎(chǔ)學(xué)習(xí)中的字符串操作、for循環(huán)語句示例2014-04-04