python簡單爬蟲--get方式詳解
簡單爬蟲可以劃分為get、post格式。其中,get是單方面的獲取資源,而post存在交互,如翻譯中需要文字輸入。本文主要描述簡單的get爬蟲。
環(huán)境準(zhǔn)備
安裝第三方庫
pip install requests pip install bs4 pip install lxml
進(jìn)行爬蟲
1.獲取網(wǎng)頁數(shù)據(jù)。
import requests from bs4 import BeautifulSoup url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/" response = requests.get(self.url)
2.解析網(wǎng)頁數(shù)據(jù)
soup = BeautifulSoup(response.text, 'lxml')
3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進(jìn)入開發(fā)者模式,后查看目標(biāo)在html中的位置,右擊選擇“復(fù)制selector”,見下圖。
key = "#b_results > li > div.b_title > h2 > a" soup.select(key)
4.清洗數(shù)據(jù)
result = {} for i, item in enumerate(data): result.update({ f'title_{i}': item.get_text(), f'url_{i}': item.get('href') }) print(result)
參考
鏈接:http://www.dbjr.com.cn/article/152560.htm
總結(jié)
本篇文章就到這里了,希望能夠給你帶來幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
Python通過TensorFLow進(jìn)行線性模型訓(xùn)練原理與實(shí)現(xiàn)方法詳解
這篇文章主要介紹了Python通過TensorFLow進(jìn)行線性模型訓(xùn)練原理與實(shí)現(xiàn)方法,結(jié)合實(shí)例形式詳細(xì)分析了Python通過TensorFLow進(jìn)行線性模型訓(xùn)練相關(guān)概念、算法設(shè)計與訓(xùn)練操作技巧,需要的朋友可以參考下2020-01-01python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法
今天小編就為大家分享一篇python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08Cpython3.9源碼解析python中的大小整數(shù)
這篇文章主要介紹了Cpython3.9源碼解析python中的大小整數(shù),在CPython中,小整數(shù)對象池是一種優(yōu)化機(jī)制,用于減少對常用小整數(shù)的內(nèi)存分配和銷毀開銷,需要的朋友可以參考下2023-04-04Python中struct模塊對字節(jié)流/二進(jìn)制流的操作教程
最近在學(xué)習(xí)python網(wǎng)絡(luò)編程這一塊,在寫簡單的socket通信代碼時,遇到了struct這個模塊的使用,當(dāng)時不太清楚這到底有和作用,后來查閱了相關(guān)資料大概了解了,這篇文章就主要介紹了Python中struct模塊對字節(jié)流/二進(jìn)制流的操作,需要的朋友可以參考借鑒。2017-01-01使用實(shí)現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯
今天小編就為大家分享一篇使用實(shí)現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05Python利用Diagrams繪制漂亮的系統(tǒng)架構(gòu)圖
Diagrams 是一個基于Python繪制云系統(tǒng)架構(gòu)的模塊,它能夠通過非常簡單的描述就能可視化架構(gòu)。本文將利用它繪制漂亮的系統(tǒng)架構(gòu)圖,感興趣的可以了解一下2023-01-01