python訪問hdfs的操作
更新時間：2020年06月06日 10:02:07 作者：gdolphinw
這篇文章主要介紹了python訪問hdfs的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
pip install hdfs
python 讀取hdfs目錄或文件
import hdfs
client =hdfs.Client("http://10.10.1.4:50070")
fileDir="/user/hive/warehouse/house.db/dm_house/dt=201800909"
try:
status=client.status(fileDir,False)
if status:
print (status)
rst=client.download(fileDir,"/home/dev/gewei")
print (rst)
exception Exception as e:
print (e)
補(bǔ)充知識：用python訪問hdfs出現(xiàn)webhdfs找不到的情況
有可能是webhdfs服務(wù)沒有開啟
向hdfs-site.xml文件中添加屬性：
<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property>
可以使用如下命令檢測，
獲得目錄的列表：
curl -i "http://Hadoop:50070/webhdfs/v1/?user.name=hadoop&op=LISTSTATUS"
以上這篇python訪問hdfs的操作就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Matplotlib的可以把很多張圖畫到一個顯示界面，在作對比分析的時候非常有用。本文就介紹了幾種方法，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-05-05
這篇文章主要介紹了OpenCV基本操作之圖像基礎(chǔ)操作，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了python_tkinter事件詳情，文章基于python_tkinter事件相關(guān)資料分享的內(nèi)容有事件綁定函數(shù)，事件對象等相關(guān)自資料，需要的小伙伴可以參考一下2022-03-03
這篇文章主要介紹了Python列表生成式和字典生成式實(shí)例,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
python網(wǎng)絡(luò)爬蟲 Scrapy中selenium用法詳解
這篇文章主要介紹了python網(wǎng)絡(luò)爬蟲 Scrapy中selenium用法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值2019-09-09
Python使用PyQt5/PySide2編寫一個極簡的音樂播放器功能
這篇文章主要介紹了Python中使用PyQt5/PySide2編寫一個極簡的音樂播放器功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2020-02-02
Python3 selenium 實(shí)現(xiàn)QQ群接龍自動化功能
這篇文章主要介紹了Python3 selenium 實(shí)現(xiàn)QQ群接龍自動化功能,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-04-04
這篇文章主要介紹了python局域網(wǎng)ip掃描示例,需要的朋友可以參考下2014-04-04
Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼
這篇文章主要介紹了Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼,代碼簡單易懂，非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2020-02-02
今天小編就為大家分享一篇PyCharm代碼提示忽略大小寫設(shè)置方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10