shell命令執(zhí)行hive腳本(hive交互)
Hive執(zhí)行方式
Hive的hql命令執(zhí)行方式有三種:
1、CLI 方式直接執(zhí)行
2、作為字符串通過shell調用hive –e執(zhí)行(-S開啟靜默,去掉”OK”,”Time taken”)
3、作為獨立文件,通過shell調用 hive –f或hive –i執(zhí)行執(zhí)行
方式1
鍵入“hive”,啟動hive的cli交互模式。Set可以查看所有環(huán)境設置參數,并可以重設。其他命令如, Use database 選擇庫 quit/exit 退出Hive的交互模式 set –v 顯示Hive中的所有變量 set <key>=<value> 設置參數 執(zhí)行本地shell :!<cmd> 交互模式下可執(zhí)行shell命令,例如(查看linux根目錄下文件列表:"!ls -l /;") 操作云命令:dfs < command> 交互模式下直接操作hadoop命令如 dfs fs –ls Hql語句 執(zhí)行查詢并輸出到標準輸出 add [FILE|JAR|ARCHIVE] <value> [<value>]* 增加一個文件到資源列表 list FILE 列出所有已經添加的資源
方式二
Hql作為字符串在shell腳本中執(zhí)行,如 hive -e "use ${database};select * from tb" 查詢結果可以直接導出到本地本件(默認分隔符為\t): hive -e "select * from tb" > tb.txt
如果需要查看執(zhí)行步驟,則在命令前面添加
set –x
另外,在shell腳本中,字符串有兩種定義方式:
1) 直接定義字符串對象:sql=”字符串”
2) 通過命令定義:sql=$(cat <<endtag 字符串endtag)方式可以將字符串復制給sql,執(zhí)行hql命令的shell腳本如下:
####### execute hive ###### sql=$(cat <<!EOF USE pmp; set mapred.queue.names=queue3; drop table if exists people_targeted_delivery; create table people_targeted_delivery ( special_tag_id int, ? cnt bigint ); INSERT OVERWRITE LOCAL DIRECTORY '$cur_path/people_targeted_delivery' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'? select special_tag_id,count(1)? from t_pmp_special_user_tags group by special_tag_id; !EOF) ############ ?execute begin ? ########### echo $sql $HIVE_HOME/bin/hive -e "$sql" exitCode=$? if [ $exitCode -ne 0 ];then ? ? ? ? ?echo "[ERROR] hive execute failed!" ? ? ? ? ?exit $exitCode fi
方式三
將hql語句保存為獨立文件,后綴名不限制,可以用.q或者.hql作為標識:
A,這個文件在cli模式下,用source命令執(zhí)行,如:source ./mytest.hql
B,在shell中執(zhí)行命令,如:hive -f mytest.sql
Hive指定預執(zhí)行文件命令“hive –i”(或叫初始化文件)
命令:hive -i hive-script.sql 在hive啟動cli之前,先執(zhí)行指定文件(hive-script.sql)中的命令。 也就是說,允許用戶在cli啟動時預先執(zhí)行一個指定文件,比如,有一些常用的環(huán)境參數設置,頻繁執(zhí)行的命令,可以添加在初始化文件中,比如, 某些參數設置 set mapred.queue.names=queue3; SET mapred.reduce.tasks=14; 添加udf文件 add JAR ./playdata-hive-udf.jar; 設置Hive的日志級別 hive -hiveconf hive.root.logger=INFO;
到此這篇關于shell命令執(zhí)行hive腳本(hive交互)的文章就介紹到這了,更多相關shell命令執(zhí)行hive內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
shell基礎學習中的字符串操作、for循環(huán)語句示例
這篇文章主要介紹了shell基礎學習中的字符串操作、for循環(huán)語句示例2014-04-04