欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python操作 hbase 數(shù)據(jù)的方法

 更新時間:2016年12月18日 11:56:44   投稿:jingxian  
下面小編就為大家?guī)硪黄猵ython操作 hbase 數(shù)據(jù)的方法。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧

配置 thrift

python使用的包 thrift

個人使用的python 編譯器是pycharm community edition. 在工程中設(shè)置中,找到project interpreter, 在相應(yīng)的工程下,找到package,然后選擇 “+” 添加, 搜索 hbase-thrift (Python client for HBase Thrift interface),然后安裝包。

安裝服務(wù)器端thrift。

參考官網(wǎng),同時也可以在本機上安裝以終端使用。

thrift Getting Started

也可以參考安裝方法 python 調(diào)用HBase 范例

首先,安裝thrift

下載thrift,這里,我用的是thrift-0.7.0-dev.tar.gz 這個版本

tar xzf thrift-0.7.0-dev.tar.gz
cd thrift-0.7.0-dev
sudo ./configure –with-cpp=no –with-ruby=no
sudo make
sudo make install

然后,到HBase的源碼包里,找到

src/main/resources/org/apache/hadoop/hbase/thrift/

執(zhí)行

thrift –gen py Hbase.thrift
mv gen-py/hbase/ /usr/lib/python2.4/site-packages/ (根據(jù)python版本可能有不同)

獲取數(shù)據(jù)示例 1

# coding:utf-8

from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase
# from hbase.ttypes import ColumnDescriptor, Mutation, BatchMutation
from hbase.ttypes import *

import csv


def client_conn():
 # Make socket
 transport = TSocket.TSocket('hostname,like:localhost', port)
 # Buffering is critical. Raw sockets are very slow
 transport = TTransport.TBufferedTransport(transport)
 # Wrap in a protocol
 protocol = TBinaryProtocol.TBinaryProtocol(transport)
 # Create a client to use the protocol encoder
 client = Hbase.Client(protocol)
 # Connect!
 transport.open()
 return client

if __name__ == "__main__":

 client = client_conn()

 # r = client.getRowWithColumns('table name', 'row name', ['column name'])
 # print(r[0].columns.get('column name')), type((r[0].columns.get('column name')))

 result = client.getRow("table name","row name")
 data_simple =[]

 # print result[0].columns.items()

 for k, v in result[0].columns.items(): #.keys()
  #data.append((k,v))
  # print type(k),type(v),v.value,,v.timestamp
  data_simple.append((v.timestamp, v.value))

 writer.writerows(data)
 csvfile.close()

 csvfile_simple = open("data_xy_simple.csv", "wb")
 writer_simple = csv.writer(csvfile_simple)
 writer_simple.writerow(["timestamp", "value"])
 writer_simple.writerows(data_simple)
 csvfile_simple.close()

 print "finished"

會基礎(chǔ)的python應(yīng)該知道result是個list,result[0].columns.items()是一個dict 的鍵值對??梢圆樵兿嚓P(guān)資料?;蛘咄ㄟ^輸出變量,觀察變量的值與類型。

說明:上面程序中 transport.open()進行鏈接,在執(zhí)行完后,還需要斷開transport.close()

目前只涉及到讀數(shù)據(jù),之后還會繼續(xù)更新其他dbase操作。

以上這篇python操作 hbase 數(shù)據(jù)的方法就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python徹底刪除文件夾及其子文件方式

    Python徹底刪除文件夾及其子文件方式

    今天小編就為大家分享一篇Python徹底刪除文件夾及其子文件方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • 基于python實現(xiàn)智能用例生成工具

    基于python實現(xiàn)智能用例生成工具

    這篇文章主要為大家詳細介紹了如何基于python實現(xiàn)智能用例生成工具,即根據(jù)輸入的功能點,生成通用測試點,感興趣的小伙伴可以跟隨小編一起了解下
    2023-09-09
  • Python3爬蟲里關(guān)于識別微博宮格驗證碼的知識點詳解

    Python3爬蟲里關(guān)于識別微博宮格驗證碼的知識點詳解

    在本篇文章里小編給大家分享了關(guān)于Python3爬蟲里關(guān)于識別微博宮格驗證碼的知識點,有興趣的朋友們可以參考下。
    2020-07-07
  • 詳解如何使用pip卸載所有已安裝的Python包

    詳解如何使用pip卸載所有已安裝的Python包

    在開發(fā)過程中,我們可能會安裝許多 Python 包,有時需要徹底清理環(huán)境,以便從頭開始或者解決沖突問題,下面將介紹如何使用 pip 命令卸載所有已安裝的 Python 包,需要的朋友可以參考下
    2024-06-06
  • 如何使用pdb進行Python調(diào)試

    如何使用pdb進行Python調(diào)試

    本篇教程中,我們主要講解了pdb中一些基本常用的內(nèi)容,包括打印表達式使用n(next)和s(step)命令調(diào)試代碼斷點使用unt(until)來繼續(xù)執(zhí)行代碼顯示表達式查找一個函數(shù)的調(diào)用者,對pdb Python調(diào)試相關(guān)知識感興趣的朋友跟隨小編一起看看吧
    2021-06-06
  • pytorch DistributedDataParallel 多卡訓(xùn)練結(jié)果變差的解決方案

    pytorch DistributedDataParallel 多卡訓(xùn)練結(jié)果變差的解決方案

    這篇文章主要介紹了pytorch DistributedDataParallel 多卡訓(xùn)練結(jié)果變差的解決方案,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-06-06
  • python接口自動化之正則用例參數(shù)化的示例詳解

    python接口自動化之正則用例參數(shù)化的示例詳解

    這篇文章主要介紹了python接口自動化之正則用例參數(shù)化,它是一個特殊的字符序列,它能幫助你方便的檢查一個字符串是否與某種模式匹配,本文給大家介紹的非常詳細,需要的朋友可以參考下
    2022-07-07
  • 使用python的turtle函數(shù)繪制一個滑稽表情

    使用python的turtle函數(shù)繪制一個滑稽表情

    Turtle庫是Python語言中一個很流行的繪制圖像的函數(shù)庫,今天通過實例代碼給大家分享使用python的turtle函數(shù)繪制一個滑稽表情,一起看看吧
    2020-02-02
  • Python如何使用正則表達式爬取京東商品信息

    Python如何使用正則表達式爬取京東商品信息

    這篇文章主要介紹了Python如何使用正則表達式爬取京東商品信息,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-06-06
  • Python爬取用戶觀影數(shù)據(jù)并分析用戶與電影之間的隱藏信息!

    Python爬取用戶觀影數(shù)據(jù)并分析用戶與電影之間的隱藏信息!

    看電影前很多人都喜歡去 『豆瓣』 看影評,所以我爬取44130條 『豆瓣』 的用戶觀影數(shù)據(jù),分析用戶之間的關(guān)系,電影之間的聯(lián)系,以及用戶和電影之間的隱藏關(guān)系,需要的朋友可以參考下
    2021-06-06

最新評論