python Requsets下載開源網(wǎng)站的代碼(帶索引 數(shù)據(jù))
更新時間:2021年04月14日 10:23:49 作者:TTMer
這篇文章主要介紹了python Requsets下載開源網(wǎng)站的代碼(帶索引 數(shù)據(jù)),本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
環(huán)境搭建
python 3.x
requests 包
re 包
gooey包 (用于可視化)
代碼
import requests import re import os from gooey import Gooey, GooeyParser import time s = requests.Session() def judgeTypeOfPath(name): ''' 判斷該路徑是文件還是文件夾 :param name: 路徑名稱 :return:True->文件;False->文件夾 ''' if name[-1] == '/': return False else: return True def makeDirOfPath(path): ''' 創(chuàng)建文件夾 :param path: 文件夾名稱以及路徑 :return: True->創(chuàng)建成功;False->創(chuàng)建失敗 ''' if not os.path.isdir(path): os.mkdir(path) if not os.path.isdir(path): return False return True def getPath(url): ''' 獲取網(wǎng)頁路徑列表 :param url: 當前網(wǎng)頁路徑 :return: 路徑列表 ''' baseResponse = s.get(url=url, stream=True,verify=False).text listOfDirOrFilesTemp = re.findall(r'<li><a href=".*?" rel="external nofollow" >', baseResponse) listOfDirOrFiles = [] for i in range(len(listOfDirOrFilesTemp)): listOfDirOrFiles.append(listOfDirOrFilesTemp[i].split("\"")[1]) return listOfDirOrFiles[1:len(listOfDirOrFiles) + 1] def rfSearch(listOfPath,url, nowPath): ''' 遞歸尋找目錄、路徑,并下載文件 :param listOfPath: 當前目錄下文件以及文件夾目錄列表 :param nowPath: 現(xiàn)在所在路徑 :return: ''' newList = listOfPath[:] if not newList: return for i in range(len(newList)): if not judgeTypeOfPath(newList[i]): u = nowPath + newList[i][0:len(newList[i])] makeDirOfPath(u) tempPath=nowPath + newList[i][0:len(newList[i])+1] tempUrl=url+newList[i][0:len(newList[i])+1] u=getPath(tempUrl) rfSearch(u,tempUrl,tempPath) else: print(f'開始下載{newList[i]}...') t1=time.time() u = nowPath + newList[i] m=url+newList[i] if not os.path.exists(u): r = s.get(m, stream=True,verify=False) f = open(u, "wb") for chunk in r.iter_content(chunk_size=10240): if chunk: f.write(chunk) f.close() t2=time.time() print(f'{newList[i]}下載完成\t\t用時 {t2-t1}') @Gooey( program_name='isric數(shù)據(jù)下載器', encoding="utf-8", ) def main(): parser = GooeyParser(description="isric數(shù)據(jù)下載器") parser.add_argument('--url',default=r'https://files.isric.org/soilgrids/latest/data/') parser.add_argument('--path', widget="DirChooser", default=r'F:/isricData/') args = parser.parse_args() url=args.url nowPath = args.path u = getPath(url) rfSearch(u, url,nowPath) ###如果不需要可視化,則不用gooey,可以將上面部分替換如下 #@Gooey( # program_name='isric數(shù)據(jù)下載器', # encoding="utf-8", ) #上面三行刪除即可 ###main函數(shù)替換成下面部分: # def main(): # url=r'https://files.isric.org/soilgrids/latest/data/'#在此處修改地址鏈接 # nowPath = r'F:/isricData/'#在此處修改文件保存地址 # u = getPath(url) # rfSearch(u, url,nowPath) if __name__ == "__main__": main()
到此這篇關于python Requsets下載開源網(wǎng)站的代碼(帶索引 數(shù)據(jù))的文章就介紹到這了,更多相關python Requsets下載內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
相關文章
python中字典dict排序sorted的實現(xiàn)
本文主要介紹了python中字典dict排序sorted的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-05-05Webots下載安裝?+?Pycharm聯(lián)調(diào)使用教程
Webots是一個開源的三維移動機器人模擬器,它最初是作為研究移動機器人中各種控制算法的研究工具開發(fā)的,自2018年12月起,Webots作為開源軟件發(fā)布,并獲得Apache 2.0許可證,這篇文章主要介紹了Webots下載安裝?+?Pycharm聯(lián)調(diào)?,需要的朋友可以參考下2023-02-02python sys.stdin和sys.stdout的用法說明
這篇文章主要介紹了python sys.stdin和sys.stdout的用法說明,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03Python八大常見排序算法定義、實現(xiàn)及時間消耗效率分析
這篇文章主要介紹了Python八大常見排序算法定義、實現(xiàn)及時間消耗效率分析,結合具體實例形式對比分析了冒泡排序、直接插入排序、選擇排序、歸并排序、希爾排序、桶排序、堆排序等排序算法的使用與執(zhí)行效率,需要的朋友可以參考下2018-04-04