快捷導(dǎo)航

python簡單爬蟲--get方式詳解

更新時間：2021年09月09日 11:18:27 作者：趙趙要加油啊

本篇文章介紹了python爬蟲中g(shù)et和post方法介紹以及cookie作用，對此有興趣的朋友學(xué)習(xí)下，希望能夠給你帶來幫助

環(huán)境準(zhǔn)備

安裝第三方庫

pip install requests
pip install bs4
pip install lxml

進行爬蟲

1.獲取網(wǎng)頁數(shù)據(jù)。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析網(wǎng)頁數(shù)據(jù)

soup = BeautifulSoup(response.text, 'lxml')

3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進入開發(fā)者模式，后查看目標(biāo)在html中的位置，右擊選擇“復(fù)制selector”，見下圖。

在這里插入圖片描述

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗數(shù)據(jù)

result = {}
for i, item in enumerate(data):
     result.update({
         f'title_{i}': item.get_text(),
         f'url_{i}': item.get('href')
     })
 print(result)

參考

鏈接:http://www.dbjr.com.cn/article/152560.htm

總結(jié)

本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容！

您可能感興趣的文章:

相關(guān)文章

詳解Python中while無限迭代循環(huán)方法
Python 有 while 語句和 for 語句作為循環(huán)處理。雖然 for 語句具有一定數(shù)量的進程，但 while 語句是直到滿足條件類型的循環(huán)進程。本文將詳解while無限迭代循環(huán)方法，需要的可以了解一下
2022-04-04
Python通過TensorFLow進行線性模型訓(xùn)練原理與實現(xiàn)方法詳解
這篇文章主要介紹了Python通過TensorFLow進行線性模型訓(xùn)練原理與實現(xiàn)方法,結(jié)合實例形式詳細分析了Python通過TensorFLow進行線性模型訓(xùn)練相關(guān)概念、算法設(shè)計與訓(xùn)練操作技巧,需要的朋友可以參考下
2020-01-01
Python unittest單元測試框架及斷言方法
這篇文章主要介紹了Python unittest單元測試框架及斷言方法,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-04-04
python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法
今天小編就為大家分享一篇python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-08-08
python 比較字典value的最大值的幾種方法
這篇文章主要介紹了python 比較字典value的最大值，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-04-04
python如何使用jt400.jar包代碼實例
這篇文章主要介紹了python如何使用jt400.jar包代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-12-12
Cpython3.9源碼解析python中的大小整數(shù)
這篇文章主要介紹了Cpython3.9源碼解析python中的大小整數(shù),在CPython中，小整數(shù)對象池是一種優(yōu)化機制，用于減少對常用小整數(shù)的內(nèi)存分配和銷毀開銷,需要的朋友可以參考下
2023-04-04
Python中struct模塊對字節(jié)流/二進制流的操作教程
最近在學(xué)習(xí)python網(wǎng)絡(luò)編程這一塊，在寫簡單的socket通信代碼時，遇到了struct這個模塊的使用，當(dāng)時不太清楚這到底有和作用，后來查閱了相關(guān)資料大概了解了，這篇文章就主要介紹了Python中struct模塊對字節(jié)流/二進制流的操作,需要的朋友可以參考借鑒。
2017-01-01
使用實現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯
今天小編就為大家分享一篇使用實現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
Python利用Diagrams繪制漂亮的系統(tǒng)架構(gòu)圖
Diagrams 是一個基于Python繪制云系統(tǒng)架構(gòu)的模塊，它能夠通過非常簡單的描述就能可視化架構(gòu)。本文將利用它繪制漂亮的系統(tǒng)架構(gòu)圖，感興趣的可以了解一下
2023-01-01