python3.7簡單的爬蟲實(shí)例詳解
更新時(shí)間：2019年07月08日 11:05:02 作者：pascal1000
這篇文章主要介紹了python3.7簡單的爬蟲實(shí)例代碼，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
python3.7簡單的爬蟲，具體代碼如下所示：
#https://www.runoob.com/w3cnote/python-spider-intro.html
#Python 爬蟲介紹
import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一種方法")
#獲取狀態(tài)碼，200表示成功
print(response1.getcode())
#獲取網(wǎng)頁內(nèi)容的長度
print(str(response1.read()))
print(len(response1.read()))
print("第二種方法")
request = urllib.request.Request(url)
#模擬Mozilla瀏覽器進(jìn)行爬蟲
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三種方法")
cookie = cookiejar.CookieJar()
#加入urllib2處理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code： https://github.com/pascal19821003/python path： python/study/tutorial/pachong/1.py
總結(jié)
以上所述是小編給大家介紹的python3.7簡單的爬蟲實(shí)例詳解,希望對(duì)大家有所幫助，如果大家有任何疑問請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！
相關(guān)文章
python實(shí)現(xiàn)將pvr格式轉(zhuǎn)換成pvr.ccz的方法
這篇文章主要介紹了python實(shí)現(xiàn)將pvr格式轉(zhuǎn)換成pvr.ccz的方法,涉及Python實(shí)現(xiàn)格式轉(zhuǎn)換的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-04-04
Python數(shù)據(jù)分析與處理(二)——處理中國地區(qū)信息
這篇文章主要介紹了Python數(shù)據(jù)分析與處理-處理中國地區(qū)信息，上文介紹了北京高考分?jǐn)?shù)線統(tǒng)計(jì)分析，這篇文章依然圍繞Python數(shù)據(jù)分析與處理的相關(guān)資料來介紹處理中國地區(qū)信息,需要的朋友可以參考一下2021-12-12
服務(wù)器端jupyter notebook映射到本地瀏覽器的操作
這篇文章主要介紹了服務(wù)器端jupyter notebook映射到本地瀏覽器的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04
python實(shí)現(xiàn)下載指定網(wǎng)址所有圖片的方法
這篇文章主要介紹了python實(shí)現(xiàn)下載指定網(wǎng)址所有圖片的方法,涉及Python針對(duì)頁面的讀取、遍歷及文件操作的相關(guān)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-08-08
最近在學(xué)習(xí)python，純粹是自己的興趣愛好，然而并沒有系統(tǒng)地看python編程書籍，覺得上面描述過于繁瑣，在網(wǎng)站找了一些學(xué)習(xí)的網(wǎng)站，下面這篇文章主要給大家介紹了關(guān)于python中類和實(shí)例時(shí)如何綁定屬性與方法的相關(guān)資料，需要的朋友可以參考下。2017-08-08
python使用梯度下降算法實(shí)現(xiàn)一個(gè)多線性回歸
這篇文章主要為大家詳細(xì)介紹了python使用梯度下降算法實(shí)現(xiàn)一個(gè)多線性回歸，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-03-03
python3中超級(jí)好用的日志模塊-loguru模塊使用詳解
loguru默認(rèn)的輸出格式是上面的內(nèi)容，有時(shí)間、級(jí)別、模塊名、行號(hào)以及日志信息，不需要手動(dòng)創(chuàng)建?logger，直接使用即可，另外其輸出還是彩色的，看起來會(huì)更加友好，這篇文章主要介紹了python3中超級(jí)好用的日志模塊-loguru模塊使用詳解,需要的朋友可以參考下2022-11-11
使用python requests模塊發(fā)送http請(qǐng)求及接收響應(yīng)的方法
用 python 編寫 http request 消息代碼時(shí),建議用requests庫,因?yàn)閞equests比urllib內(nèi)置庫更為簡捷,requests可以直接構(gòu)造get,post請(qǐng)求并發(fā)送,本文給大家介紹了使用python requests模塊發(fā)送http請(qǐng)求及接收響應(yīng)的方法,需要的朋友可以參考下2024-03-03
簡單利用conda安裝tensorflow-gpu=2.2.0的過程及問題解決
這篇文章主要介紹了簡單利用conda安裝tensorflow-gpu=2.2.0,本文給大家詳細(xì)分享問題記錄及錯(cuò)誤問題解決方案，需要的朋友可以參考下2023-01-01
這篇文章主要給大家介紹了關(guān)于cuda突然不能用了的完美解決方法,文中通過圖文介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用cuda具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-06-06