python遞歸下載文件夾下所有文件
最近想備份網(wǎng)站,但是php下載文件的大小是有大小限制的,而我也懶得裝ftp再下載了,就想著暫時(shí)弄個(gè)二級(jí)域名站,然后用python(python3)的requests庫直接下載網(wǎng)站根目錄下的所有文件以及文件夾。(0-0就是這么任性)
1.安裝requests庫
pip install requests
2.下載文件夾下所有文件及文件夾
這里需要處理的地方主要是文件夾,這里我們判斷出該鏈接是文件夾時(shí),自動(dòng)創(chuàng)建文件夾,并遞歸繼續(xù)進(jìn)行操作,否則判斷該鏈接是文件,直接使用requests get方法下載,話不多說,看代碼
####春江暮客 www.bobobk.com import requests import re import os import sys def help(script): text = 'python3 %s https://www.bobobk.com ./' % script print(text) def get_file(url,path):##文件下載函數(shù) content = requests.get(url) print("write %s in %s" % (url,path)) filew = open(path+url.split("/")[-1],'wb') for chunk in content.iter_content(chunk_size=512 * 1024): if chunk: # filter out keep-alive new chunks filew.write(chunk) filew.close() def get_dir(url,path): #文件夾處理邏輯 content = requests.get(url).text if "<title>Index of" in content: sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content) print(sub_url) for i in sub_url: if "/" in i: i = i.split("/")[0] print(i) if i!="." and i!="..": if not os.direxists(path+i): os.mkdir(path+i) get_dir(url+"/"+i,path+i+"/") print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/") else: get_file(url+"/"+i,path) else: get_file(url,path) if __name__ == '__main__': if not sys.argv[1]: help(sys.argv[0]) exit(0) else: get_dir(sys.argv[1],"./")
至此,就在本地目錄完全還原下載原網(wǎng)站的路徑和文件了。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
7個(gè)流行的Python強(qiáng)化學(xué)習(xí)算法及代碼實(shí)現(xiàn)詳解
目前流行的強(qiáng)化學(xué)習(xí)算法包括?Q-learning、SARSA、DDPG、A2C、PPO、DQN?和?TRPO。這些算法已被用于在游戲、機(jī)器人和決策制定等各種應(yīng)用中,本文我們將對(duì)其做一個(gè)簡(jiǎn)單的介紹,感興趣的可以學(xué)習(xí)一下2023-01-01python讀取csv和txt數(shù)據(jù)轉(zhuǎn)換成向量的實(shí)例
今天小編就為大家分享一篇python讀取csv和txt數(shù)據(jù)轉(zhuǎn)換成向量的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-02-02基于python判斷字符串括號(hào)是否閉合{}[]()
這篇文章主要介紹了基于python判斷字符串括號(hào)是否閉合{}[](),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09Python?pandera數(shù)據(jù)驗(yàn)證和清洗的庫
為了確保數(shù)據(jù)的質(zhì)量,Python Pandera 庫應(yīng)運(yùn)而生。本文將深入介紹 Python Pandera,這是一個(gè)用于數(shù)據(jù)驗(yàn)證和清洗的庫,并提供豐富的示例代碼,幫助大家充分利用它來提高數(shù)據(jù)質(zhì)量2024-01-01Python時(shí)間模塊datetime、time、calendar的使用方法
這篇文章主要介紹了Python時(shí)間模塊的使用方法,主要包括三大模塊datetime、time、calendar,感興趣的小伙伴們可以參考一下2016-01-01