欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

如何在Win10系統(tǒng)使用Python3連接Hive

 更新時(shí)間：2020年10月15日 15:12:53   作者：陸勤_數(shù)據(jù)人網(wǎng)  
這篇文章主要介紹了如何在Win10系統(tǒng)使用Python3連接Hive，幫助大家更好的利用python讀取數(shù)據(jù)，進(jìn)行探索、分析和挖掘工作。感興趣的朋友可以了解下

由于數(shù)據(jù)存放在大數(shù)據(jù)平臺(tái)的Hive數(shù)據(jù)倉庫中，我需要在Win10系統(tǒng)上利用Python3連接Hive，然后讀取數(shù)據(jù)，進(jìn)行探索、分析和挖掘工作。

我通過網(wǎng)上查找資料和實(shí)際測試，把Win10系統(tǒng)Python3成功連接Hive配置總結(jié)如下。

第一步：安裝依賴庫

pip install bitarray
pip install bit_array
pip install thrift
pip install thriftpy
pip install pure_sasl
pip install --no-deps thrift-sasl==0.2.1

提示：若是無法安裝，也可以點(diǎn)擊如下網(wǎng)址，

https://www.lfd.uci.edu/~gohlke/pythonlibs/

選擇合適庫的whl下載，然后進(jìn)行本地化安裝。

第二步：安裝impyla庫

我采用本地化安裝方式，先下載impyla庫的whl，如下圖：

再安裝

pip install E:/Python_Library/impyla-0.16.2-py2.py3-none-any.whl

提示：上面的絕對(duì)路徑根據(jù)你自己的情況而定

第三步：測試impyla庫是否可以使用

from impala.dbapi import connect #用來連接Hive的函數(shù)
from impala.util import as_pandas #用來把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandas

若是運(yùn)行通過，表示利用impala連接Hive配置成功。

簡單示例：

從Hive的一張表讀取100條記錄，放到pandas的DataFrame里面。

參考代碼：

from impala.dbapi import connect #用來連接Hive的函數(shù)
from impala.util import as_pandas #用來把數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換為pandas

conn = connect(host='my.host.com', port=21050)
cursor = conn.cursor()
cursor.execute('SELECT * FROM mytable LIMIT 100')
df = as_pandas(cursor)
cursor.close()

參考資料

https://github.com/cloudera/impyla

以上就是如何在Win10系統(tǒng)使用Python3連接Hive的詳細(xì)內(nèi)容，更多關(guān)于Python3連接Hive的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • python 對(duì)一幅灰度圖像進(jìn)行直方圖均衡化

    python 對(duì)一幅灰度圖像進(jìn)行直方圖均衡化

    這篇文章主要介紹了python 如何對(duì)一幅灰度圖像進(jìn)行直方圖均衡化，幫助大家更好的利用python處理圖像，感興趣的朋友可以了解下
    2020-10-10
  • PyQt5 pyqt多線程操作入門

    PyQt5 pyqt多線程操作入門

    本篇文章主要介紹了PyQt5 pyqt多線程操作入門，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2018-05-05
  • Python實(shí)現(xiàn)指定數(shù)組下標(biāo)值正序與倒序排序算法功能舉例

    Python實(shí)現(xiàn)指定數(shù)組下標(biāo)值正序與倒序排序算法功能舉例

    在程序中,經(jīng)常需要按數(shù)組倒序或反序重新排列數(shù)組,下面這篇文章主要給大家介紹了關(guān)于Python實(shí)現(xiàn)指定數(shù)組下標(biāo)值正序與倒序排序算法功能的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2023-02-02
  • python 安裝impala包步驟

    python 安裝impala包步驟

    這篇文章主要介紹了python 安裝impala包步驟，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-03-03
  • Python實(shí)戰(zhàn)之markdown轉(zhuǎn)pdf(包含公式轉(zhuǎn)換)

    Python實(shí)戰(zhàn)之markdown轉(zhuǎn)pdf(包含公式轉(zhuǎn)換)

    由于我們markdown編輯器比較特殊，不是很方便瀏覽，如果轉(zhuǎn)換成pdf的話,就不需要可以的去安裝各種編輯器才可以看了。所以本文將介紹如何通過Python實(shí)現(xiàn)md轉(zhuǎn)pdf或者是docx，需要的朋友可以參考一下
    2021-12-12
  • python對(duì)DICOM圖像的讀取方法詳解

    python對(duì)DICOM圖像的讀取方法詳解

    DICOM（Digital Imaging and Communications in Medicine）即醫(yī)學(xué)數(shù)字成像和通信，是醫(yī)學(xué)圖像和相關(guān)信息的國際標(biāo)準(zhǔn)（ISO 12052）。下面這篇文章主要給大家介紹了關(guān)于python對(duì)DICOM圖像讀取的相關(guān)資料，需要的朋友可以參考借鑒，下面來一起看看吧。
    2017-07-07
  • python使用seaborn繪圖直方圖displot,密度圖,散點(diǎn)圖

    python使用seaborn繪圖直方圖displot,密度圖,散點(diǎn)圖

    這篇文章主要介紹了python使用seaborn繪圖直方圖displot,密度圖,散點(diǎn)圖,文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下
    2022-07-07
  • django輕松使用富文本編輯器CKEditor的方法

    django輕松使用富文本編輯器CKEditor的方法

    最近由于需要在django admin中使用到富文本編輯器，由于我比較喜歡CKEditor富文本編輯器，于是就有了這篇文章，下面這篇文章主要給大家介紹了在django中輕松使用富文本編輯器CKEditor的方法，需要的朋友可以參考下。
    2017-03-03
  • python?HTTP協(xié)議相關(guān)庫requests urllib基礎(chǔ)學(xué)習(xí)

    python?HTTP協(xié)議相關(guān)庫requests urllib基礎(chǔ)學(xué)習(xí)

    這篇文章主要介紹了python?HTTP協(xié)議相關(guān)庫requests urllib基礎(chǔ)學(xué)習(xí),有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
    2023-06-06
  • 7個(gè)流行的Python強(qiáng)化學(xué)習(xí)算法及代碼實(shí)現(xiàn)詳解

    7個(gè)流行的Python強(qiáng)化學(xué)習(xí)算法及代碼實(shí)現(xiàn)詳解

    目前流行的強(qiáng)化學(xué)習(xí)算法包括?Q-learning、SARSA、DDPG、A2C、PPO、DQN?和?TRPO。這些算法已被用于在游戲、機(jī)器人和決策制定等各種應(yīng)用中，本文我們將對(duì)其做一個(gè)簡單的介紹，感興趣的可以學(xué)習(xí)一下
    2023-01-01

最新評(píng)論