使用Python構(gòu)造hive insert語(yǔ)句說(shuō)明
mysql可以使用nevicat導(dǎo)出insert語(yǔ)句用于數(shù)據(jù)構(gòu)造，但是hive無(wú)法直接導(dǎo)出insert語(yǔ)句。我們可以先打印在hive命令行，然后使用腳本拼裝成insert語(yǔ)句，進(jìn)行數(shù)據(jù)構(gòu)造。
手動(dòng)copy到python腳本進(jìn)行sql語(yǔ)句構(gòu)造：
def transformString(s): list_s = s.split('\t') print(len(list_s)) s_new = '' for item in list_s: s_new += '\"' + item.strip(' ') + '\"' + ',' return str(s_new.rstrip(','))# 為手動(dòng)copy hive命令行打印輸出的記錄s = "555 helloworld"s_new = transformString(s)sql = 'insert into dw.test PARTITION (ymd = \'2019-03-18\') values({});'.format(s_new)print(sql)結(jié)果：
insert into dw.test PARTITION (ymd = '2019-03-18') values("555","helloworld");
補(bǔ)充知識(shí)：python向hive插入數(shù)據(jù)遇到的坑
因項(xiàng)目需求，應(yīng)用python建模需要通過(guò)hive取數(shù)，并將結(jié)果寫入hive表。
嘗試了以下幾條坑爹路，僅做記錄如下：
通過(guò)impyla庫(kù)搭建hive與python橋梁
1.1 環(huán)境配置的坑（回頭放連接）
注: 遠(yuǎn)程訪問(wèn)hive一定要記得配置賬號(hào)密碼！??！報(bào)錯(cuò)：。。。-4.。。
1.2 一定不要用impyla中的executemany去批量插入數(shù)據(jù)，也不要用其他的方式向hive插入數(shù)據(jù)，都是坑！奇慢無(wú)比！找資料也都是說(shuō)不建議這么做。
長(zhǎng)途跋涉hdfs法
2.1 先用python的pyhdfs庫(kù)將結(jié)果寫成hdfs文件，然后。。。尼瑪！！根本沒成功連上服務(wù)器的hdfs，本地hdfs到是可以的
2.2 那既然寫hdfs，我就直接將模型結(jié)果通過(guò)hadoop/hdfs命令上傳至hdfs。然后， 通過(guò)hive命令load data將hdfs中的結(jié)果再導(dǎo)入hive。雖然有點(diǎn)繞，但是成功了！??！BUT?。?！小兄弟，這個(gè)直接操作HDFS風(fēng)險(xiǎn)太高了，要不你還是另尋他法吧，不可以拒絕哦?。?！
2.3 好吧，根據(jù)建議，使用kafka，抱歉這個(gè)坑后面再來(lái)踩。
2.4 臨時(shí)處理方案：先將結(jié)果寫入mysql，再轉(zhuǎn)入hive，這個(gè)沒有坑，具體我也只是寫到mysql，無(wú)坑。。就是有點(diǎn)繞。。。
以上這篇使用Python構(gòu)造hive insert語(yǔ)句說(shuō)明就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Pytorch GPU內(nèi)存占用很高,但是利用率很低如何解決
這篇文章主要介紹了Pytorch GPU內(nèi)存占用很高,但是利用率很低的原因及解決方法，具有很好的參考價(jià)值，希望對(duì)大家 有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
用python爬蟲批量下載pdf的實(shí)現(xiàn)
這篇文章主要介紹了用python爬蟲批量下載pdf的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
解決jupyter 在瀏覽器中 代碼不執(zhí)行的問(wèn)題
這篇文章主要介紹了解決jupyter 在瀏覽器中 代碼不執(zhí)行的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
Matplotlib繪圖基礎(chǔ)之文本標(biāo)注詳解
Matplotlib?文本和標(biāo)注可以為數(shù)據(jù)和圖形之間提供額外的信息，幫助觀察者更好地理解數(shù)據(jù)和圖形的含義，下面就將通過(guò)示例依次介紹文本和標(biāo)注的常用使用方式2023-08-08
python正則表達(dá)式及使用正則表達(dá)式的例子
正則表達(dá)是用來(lái)匹配字符串，這篇文章給大家介紹了python正則表達(dá)式及正則表達(dá)式的例子，文章給大家提到了正則表達(dá)式語(yǔ)法規(guī)則，感興趣的朋友一起看看吧2018-01-01
Python實(shí)現(xiàn)自動(dòng)打開電腦應(yīng)用的示例代碼
這篇文章主要介紹了Python實(shí)現(xiàn)自動(dòng)打開電腦應(yīng)用的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python安全獲取域管理員權(quán)限幾種方式操作示例
在不考慮直接攻擊域控的情況下，如何快速獲取域管理員權(quán)限呢？本文分享幾種常見的獲取域管理員權(quán)限的方式，有需要的朋友可以借鑒參考下2021-10-10
基于Python輕松制作一個(gè)股票K線圖網(wǎng)站
在當(dāng)今這個(gè)人手一個(gè)?Web?服務(wù)的年代，GUI?程序還是沒有?Web?服務(wù)來(lái)的香啊。所以本文將用Python制作一個(gè)簡(jiǎn)單的股票K線圖網(wǎng)站，感興趣的可以了解一下2022-09-09
OpenCV學(xué)習(xí)之圖像加噪與濾波的實(shí)現(xiàn)詳解
這篇文章主要為大家詳細(xì)介紹了OpenCV中圖像的加噪與濾波操作的相關(guān)資料，文中的示例代碼簡(jiǎn)潔易懂，具有一定的借鑒價(jià)值，需要的可以參考一下2023-02-02
python中property屬性的介紹及其應(yīng)用詳解
這篇文章主要介紹了python中property屬性的介紹及其應(yīng)用詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08