python訪問(wèn)hdfs的操作
更新時(shí)間：2020年06月06日 10:02:07 作者：gdolphinw
這篇文章主要介紹了python訪問(wèn)hdfs的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
pip install hdfs
python 讀取hdfs目錄或文件
import hdfs
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
status=client.status(fileDir,False)
if status:
print (status)
rst=client.download(fileDir,"/home/dev/gewei")
print (rst)
exception Exception as e:
print (e)
補(bǔ)充知識(shí)：用python訪問(wèn)hdfs出現(xiàn)webhdfs找不到的情況
有可能是webhdfs服務(wù)沒(méi)有開(kāi)啟
向hdfs-site.xml文件中添加屬性：
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
可以使用如下命令檢測(cè)，
獲得目錄的列表：
curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
以上這篇python訪問(wèn)hdfs的操作就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
Matplotlib的可以把很多張圖畫到一個(gè)顯示界面，在作對(duì)比分析的時(shí)候非常有用。本文就介紹了幾種方法，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
OpenCV半小時(shí)掌握基本操作之圖像基礎(chǔ)操作
這篇文章主要介紹了OpenCV基本操作之圖像基礎(chǔ)操作，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了python_tkinter事件詳情，文章基于python_tkinter事件相關(guān)資料分享的內(nèi)容有事件綁定函數(shù)，事件對(duì)象等相關(guān)自資料，需要的小伙伴可以參考一下2022-03-03
這篇文章主要介紹了Python列表生成式和字典生成式實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
python網(wǎng)絡(luò)爬蟲 Scrapy中selenium用法詳解
這篇文章主要介紹了python網(wǎng)絡(luò)爬蟲 Scrapy中selenium用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值2019-09-09
Python使用PyQt5/PySide2編寫一個(gè)極簡(jiǎn)的音樂(lè)播放器功能
這篇文章主要介紹了Python中使用PyQt5/PySide2編寫一個(gè)極簡(jiǎn)的音樂(lè)播放器功能，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
Python3 selenium 實(shí)現(xiàn)QQ群接龍自動(dòng)化功能
這篇文章主要介紹了Python3 selenium 實(shí)現(xiàn)QQ群接龍自動(dòng)化功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-04-04
這篇文章主要介紹了python局域網(wǎng)ip掃描示例,需要的朋友可以參考下2014-04-04
Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼
這篇文章主要介紹了Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼,代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
今天小編就為大家分享一篇PyCharm代碼提示忽略大小寫設(shè)置方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10