python檢查URL是否正常訪問的小技巧
今天,項目經(jīng)理問我一個問題,問我這里有2000個URL要檢查是否能正常打開,其實我是拒絕的,我知道因為要寫代碼了,正好學(xué)了點Python,一想,python處理起來容易,就選了python,開始把思路想好:
1.首先2000個URL??梢苑旁谝粋€txt文本內(nèi)
2.通過python 把內(nèi)容內(nèi)的URL一條一條放進(jìn)數(shù)組內(nèi)
3.打開一個模擬的瀏覽器,進(jìn)行訪問。
4.如果正常訪問就輸出正常,錯誤就輸出錯誤
直接簡單粗暴甩代碼。因為涉及到隱私,圖片打了碼
import urllib.request import time opener = urllib.request.build_opener() opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] #這個是你放網(wǎng)址的文件名,改過來就可以了 file = open('test.txt') lines = file.readlines() aa=[] for line in lines: temp=line.replace('\n','') aa.append(temp) print(aa) print('開始檢查:') for a in aa: tempUrl = a try : opener.open(tempUrl) print(tempUrl+'沒問題') except urllib.error.HTTPError: print(tempUrl+'=訪問頁面出錯') time.sleep(2) except urllib.error.URLError: print(tempUrl+'=訪問頁面出錯') time.sleep(2) time.sleep(0.1)
效果圖:
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Pytorch神經(jīng)網(wǎng)絡(luò)參數(shù)管理方法詳細(xì)講解
這篇文章主要介紹了Pytorch神經(jīng)網(wǎng)絡(luò)參數(shù)管理方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)吧2023-05-05python在一個范圍內(nèi)取隨機數(shù)的簡單實例
在本篇內(nèi)容里小編給大家分享了關(guān)于python在一個范圍內(nèi)取隨機數(shù)的簡單實例內(nèi)容,有需要的朋友們可以學(xué)習(xí)下。2020-08-08TensorFlow實現(xiàn)數(shù)據(jù)增強的示例代碼
?TensorFlow數(shù)據(jù)增強?是一種通過變換和擴(kuò)充訓(xùn)練數(shù)據(jù)的方法,本文主要介紹了TensorFlow實現(xiàn)數(shù)據(jù)增強的示例代碼,具有一定的參考價值,感興趣的可以了解游戲2024-08-08Python字符串函數(shù)strip()原理及用法詳解
這篇文章主要介紹了Python字符串函數(shù)strip()原理及用法詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07python六種基本數(shù)據(jù)類型及常用函數(shù)展示
這篇文章主要為大家介紹了python六種基本數(shù)據(jù)類型及常用函數(shù),具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助2021-11-11python 實現(xiàn)圖片旋轉(zhuǎn) 上下左右 180度旋轉(zhuǎn)的示例
今天小編就為大家分享一篇python 實現(xiàn)圖片旋轉(zhuǎn) 上下左右 180度旋轉(zhuǎn)的示例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01正則表達(dá)式在Python中的應(yīng)用小結(jié)
正則表達(dá)式是一種強大的文本模式匹配工具,它可以幫助我們快速地檢索、替換或提取字符串中的特定模式,在本文中,我將通過一些示例代碼,詳細(xì)介紹正則表達(dá)式在Python中的應(yīng)用,感興趣的朋友一起看看吧2024-07-07在Python函數(shù)中輸入任意數(shù)量參數(shù)的實例
今天小編就為大家分享一篇在Python函數(shù)中輸入任意數(shù)量參數(shù)的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07