mysql可以使用nevicat導出insert語句用于數(shù)據(jù)構(gòu)造，但是hive無法直接導出insert語句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語句，進行數(shù)據(jù)構(gòu)造。

手動copy到python腳本進行sql語句構(gòu)造：

def transformString(s):  list_s = s.split('\t')  print(len(list_s))  s_new = ''  for item in list_s:    s_new += '\"' + item.strip(' ') + '\"' + ','  return str(s_new.rstrip(','))# 為手動copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)

結(jié)果：

insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");

補充知識：python向hive插入數(shù)據(jù)遇到的坑

因項目需求，應用python建模需要通過hive取數(shù)，并將結(jié)果寫入hive表。

嘗試了以下幾條坑爹路，僅做記錄如下：

通過impyla庫搭建hive與python橋梁

1.1 環(huán)境配置的坑（回頭放連接）

注: 遠程訪問hive一定要記得配置賬號密碼！??！報錯：。。。-4.。。

1.2 一定不要用impyla中的executemany去批量插入數(shù)據(jù)，也不要用其他的方式向hive插入數(shù)據(jù)，都是坑！奇慢無比！找資料也都是說不建議這么做。

長途跋涉hdfs法

2.1 先用python的pyhdfs庫將結(jié)果寫成hdfs文件，然后。。。尼瑪??！根本沒成功連上服務器的hdfs，本地hdfs到是可以的

2.2 那既然寫hdfs，我就直接將模型結(jié)果通過hadoop/hdfs命令上傳至hdfs。然后， 通過hive命令load data將hdfs中的結(jié)果再導入hive。雖然有點繞，但是成功了?。。UT?。?！小兄弟，這個直接操作HDFS風險太高了，要不你還是另尋他法吧，不可以拒絕哦?。?！

2.3 好吧，根據(jù)建議，使用kafka，抱歉這個坑后面再來踩。

2.4 臨時處理方案：先將結(jié)果寫入mysql，再轉(zhuǎn)入hive，這個沒有坑，具體我也只是寫到mysql，無坑。。就是有點繞。。。

以上這篇使用Python構(gòu)造hive insert語句說明就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論