快捷導(dǎo)航

python 操作hive pyhs2方式

更新時(shí)間：2019年12月21日 15:59:13 作者：bigdataf

今天小編就為大家分享一篇python 操作hive pyhs2方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

使用kerberos時(shí)

import pyhs2

class HiveClient:
  # 初始化
  def __init__(self, db_host, user, password, database, port=10000, authMechanism="PLAIN", configuration=None):
    self.conn = pyhs2.connect(host=db_host,
                 port=port,
                 authMechanism=authMechanism,
                 user=user,
                 password=password,
                 database=database,
                 configuration=configuration,
                 )

  # 查詢方法
  def query(self, sql):
    with self.conn.cursor() as cursor:
      cursor.execute(sql)
      return cursor.fetch()

  def close(self):
    self.conn.close()


def getHiveData(sql):
  config = {"mapreduce.job.queuename": "default", 'krb_host': 'hiveserve2ip', 'krb_service': 'hive'}
  hive_client = HiveClient(db_host='hiveserve2ip', port=10000, user='user@kdc.com', password='hive', database='dw.usee',
               authMechanism='KERBEROS', configuration=config)
  print sql
  result = hive_client.query(sql)
  return result

Could not start SASL: Error in sasl_client_start (-1) SASL(-1)

安裝

yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi

pyhs2 安裝 sasl問題

yum install cyrus-sasl-devel 
yum install cyrus-sasl-lib 
yum install libgsasl-devel 
yum install saslwrapper

對(duì)接superset hive kerberos

SQLAlchemy URI

hive://herverser2ip:10000/db

擴(kuò)展連接參數(shù)

{
  "metadata_params": {},
  "engine_params": {
    "connect_args": {
    "auth": "KERBEROS",
        "kerberos_service_name": "hive",
    "username" : "user@KDC.COM"
    }
  }
}

以上這篇python 操作hive pyhs2方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python輕松查到刪除自己的微信好友
這篇文章主要介紹了python腳本快速查看自己被多少微信好友刪除的方法，感興趣的小伙伴們可以參考一下
2016-01-01
python將多個(gè)文本文件合并為一個(gè)文本的代碼（便于搜索）
源代碼目錄一般很詳細(xì)，每個(gè)代碼文件都不長，一般只占幾十行而已。在跟著書籍學(xué)習(xí)的過程中，可以打開源代碼運(yùn)行之后查看效果，或者適當(dāng)修改看看變化，這都是很好的掌握技術(shù)的好辦法。
2011-03-03
python中使用pymssql庫操作MSSQL數(shù)據(jù)庫
這篇文章主要給大家介紹了關(guān)于python中使用pymssql庫操作MSSQL數(shù)據(jù)庫的相關(guān)資料,最近在學(xué)習(xí)python,發(fā)現(xiàn)好像沒有對(duì)pymssql的詳細(xì)說明,于是乎把官方文檔學(xué)習(xí)一遍,重要部分做個(gè)歸檔,方便以后查閱,需要的朋友可以參考下
2023-08-08
利用pandas如何實(shí)現(xiàn)類似sql中的left join操作
這篇文章主要介紹了利用pandas如何實(shí)現(xiàn)類似sql中的left join操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2023-06-06
python實(shí)現(xiàn)逆濾波與維納濾波示例
今天小編就為大家分享一篇python實(shí)現(xiàn)逆濾波與維納濾波示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
python的特殊語法和常用模塊示例詳解
Python確實(shí)支持函數(shù)式編程,并提供了一些內(nèi)置的高階函數(shù),這些函數(shù)可以接受其他函數(shù)作為參數(shù),從而使代碼更加簡潔和功能強(qiáng)大,這篇文章主要介紹了python的特殊語法和常用模塊詳解,需要的朋友可以參考下
2024-08-08
Pycharm Available Package無法顯示/安裝包的問題Error Loading Package Li
這篇文章主要介紹了Pycharm Available Package無法顯示/安裝包的問題Error Loading Package List解決，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-09-09
pytorch讀取圖像數(shù)據(jù)轉(zhuǎn)成opencv格式實(shí)例
這篇文章主要介紹了pytorch讀取圖像數(shù)據(jù)轉(zhuǎn)成opencv格式實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
Python對(duì)象與json數(shù)據(jù)的轉(zhuǎn)換問題實(shí)例詳解
JSON(JavaScript?Object?Notation)?是一種輕量級(jí)的數(shù)據(jù)交換格式，很受廣大用戶喜愛，今天通過本文給大家介紹Python對(duì)象與json數(shù)據(jù)的轉(zhuǎn)換問題,需要的朋友可以參考下
2022-07-07
Django文件存儲(chǔ) 默認(rèn)存儲(chǔ)系統(tǒng)解析
這篇文章主要介紹了Django文件存儲(chǔ) 默認(rèn)存儲(chǔ)系統(tǒng)解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-08-08