欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何在python中寫(xiě)hive腳本

 更新時(shí)間：2019年11月08日 14:28:03   作者：靜悟生慧  
這篇文章主要介紹了如何在python中寫(xiě)hive腳本,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

這篇文章主要介紹了如何在python中寫(xiě)hive腳本,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

1、直接執(zhí)行.sql腳本

import numpy as np
import pandas as pd
import lightgbm as lgb
from pandas import DataFrame
from sklearn.model_selection import train_test_split
from io import StringIO
import gc
import sys
import os
hive_cmd = "hive -f ./sql/sql.sql"
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

2、Hive語(yǔ)句執(zhí)行

假如有如下hive sql：

hive_cmd = 'hive -e "select count(*) from hbase.routermac_sort_10;"'

一般在python中按照如下方式執(zhí)行該hive sql：

os.system(hive_cmd)

---------------------

hive_cmd1 = "hive -f ./user.sql"
output1 = os.popen(hive_cmd1)
test_user = pd.read_csv(StringIO(unicode(output1.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd2 = "hive -f ./action.sql"
output2 = os.popen(hive_cmd2)
test_action = pd.read_csv(StringIO(unicode(output2.read(),'utf-8')), sep="\t",header=0)
 
hive_cmd3 = "hive -f ./click.sql"
output3 = os.popen(hive_cmd3)
test_click = pd.read_csv(StringIO(unicode(output3.read(),'utf-8')), sep="\t",header=0)

為了顯示表頭，在腳本中加上一句：set hive.cli.print.header=true;

或者，使用如下語(yǔ)句：

hive_cmd = 'hive -e "set hive.cli.print.header=true;SELECT * FROM dev.temp_dev_jypt_decor_user_label_phase_one_view_feature WHERE(dt = "2018-09-17");"'
output = os.popen(hive_cmd)
data_cart_prop = pd.read_csv(StringIO(unicode(output.read(),'utf-8')), sep="\t",header=0)

3、tf 顯存占用

import tensorflow as tf
tf.enable_eager_execution()
x = tf.get_variable('x', shape=[1], initializer=tf.constant_initializer(3.))
with tf.GradientTape() as tape:   
  y = tf.square(x)
  y_grad = tape.gradient(y, x)    
print([y.numpy(), y_grad.numpy()])

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

相關(guān)文章

  • 解決Opencv+Python cv2.imshow閃退問(wèn)題

    解決Opencv+Python cv2.imshow閃退問(wèn)題

    這篇文章主要介紹了解決Opencv+Python cv2.imshow閃退問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-04-04
  • pytorch中backward()方法如何自動(dòng)求梯度

    pytorch中backward()方法如何自動(dòng)求梯度

    這篇文章主要介紹了pytorch中backward()方法如何自動(dòng)求梯度問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
    2023-02-02
  • 封裝Detours用于Python中x64函數(shù)hook詳解

    封裝Detours用于Python中x64函數(shù)hook詳解

    Detours是微軟發(fā)布的一個(gè)API hook框架，同時(shí)支持x86和x64，看文檔說(shuō)也支持ARM和ARM64的Windows，這篇文章主要介紹了封裝Detours用于Python中x64函數(shù)hook,需要的朋友可以參考下
    2023-12-12
  • Python如何將模塊打包并發(fā)布

    Python如何將模塊打包并發(fā)布

    這篇文章主要介紹了Python如何將模塊打包并發(fā)布，幫助大家分享自己的模塊，感興趣的朋友可以了解下
    2020-08-08
  • Python不支持 i ++ 語(yǔ)法的原因解析

    Python不支持 i ++ 語(yǔ)法的原因解析

    這篇文章主要介紹了Python不支持 i ++ 語(yǔ)法的原因解析,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
    2020-07-07
  • python3中數(shù)組逆序輸出方法

    python3中數(shù)組逆序輸出方法

    在本篇文章里小編給大家整理的是一篇關(guān)于python3中數(shù)組逆序輸出方法內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。
    2020-12-12
  • PyCharm+PyQt5+QtDesigner配置詳解

    PyCharm+PyQt5+QtDesigner配置詳解

    這篇文章主要介紹了PyCharm+PyQt5+QtDesigner配置詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-08-08
  • 利用Python繪制一個(gè)可愛(ài)的米老鼠

    利用Python繪制一個(gè)可愛(ài)的米老鼠

    turtle庫(kù)是一個(gè)點(diǎn)線面的簡(jiǎn)單圖像庫(kù)，在Python2.6之后被引入進(jìn)來(lái)，能夠完成一些比較簡(jiǎn)單的幾何圖像可視化。本文將利用turtle繪制一個(gè)可愛(ài)的米老鼠，感興趣的可以試一試
    2022-03-03
  • 對(duì)Python中class和instance以及self的用法詳解

    對(duì)Python中class和instance以及self的用法詳解

    今天小編就為大家分享一篇對(duì)Python中class和instance以及self的用法詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-06-06
  • python 定時(shí)器每天就執(zhí)行一次的實(shí)現(xiàn)代碼

    python 定時(shí)器每天就執(zhí)行一次的實(shí)現(xiàn)代碼

    這篇文章主要介紹了python 定時(shí)器每天就執(zhí)行一次的實(shí)現(xiàn)代碼，代碼簡(jiǎn)單易懂非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-08-08

最新評(píng)論