欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python簡單爬蟲--get方式詳解

 更新時間:2021年09月09日 11:18:27   作者:趙趙要加油啊  
本篇文章介紹了python爬蟲中g(shù)et和post方法介紹以及cookie作用,對此有興趣的朋友學(xué)習(xí)下,希望能夠給你帶來幫助

簡單爬蟲可以劃分為get、post格式。其中,get是單方面的獲取資源,而post存在交互,如翻譯中需要文字輸入。本文主要描述簡單的get爬蟲。

環(huán)境準(zhǔn)備

安裝第三方庫

pip install requests
pip install bs4
pip install lxml

進(jìn)行爬蟲

1.獲取網(wǎng)頁數(shù)據(jù)。

import requests
from bs4 import BeautifulSoup
url = "https://cn.bing.com/search?q=爬蟲CSDN&qs=n&form=QBRE&sp=-1&pq=爬蟲csdn&sc=5-6&sk=&cvid=0B13B88D8F444A0182A4A6C36E463179/"
response = requests.get(self.url)

2.解析網(wǎng)頁數(shù)據(jù)

soup = BeautifulSoup(response.text, 'lxml')

3.選取目標(biāo)數(shù)據(jù)。此處key 依據(jù)源代碼目標(biāo)標(biāo)題的位置確定。首先進(jìn)入開發(fā)者模式,后查看目標(biāo)在html中的位置,右擊選擇“復(fù)制selector”,見下圖。

在這里插入圖片描述

key = "#b_results > li > div.b_title > h2 > a"
soup.select(key)

4.清洗數(shù)據(jù)

result = {}
for i, item in enumerate(data):
     result.update({
         f'title_{i}': item.get_text(),
         f'url_{i}': item.get('href')
     })
 print(result)

參考

鏈接:http://www.dbjr.com.cn/article/152560.htm

總結(jié)

本篇文章就到這里了,希望能夠給你帶來幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!

相關(guān)文章

  • 詳解Python中while無限迭代循環(huán)方法

    詳解Python中while無限迭代循環(huán)方法

    Python 有 while 語句和 for 語句作為循環(huán)處理。雖然 for 語句具有一定數(shù)量的進(jìn)程,但 while 語句是直到滿足條件類型的循環(huán)進(jìn)程。本文將詳解while無限迭代循環(huán)方法,需要的可以了解一下
    2022-04-04
  • Python通過TensorFLow進(jìn)行線性模型訓(xùn)練原理與實(shí)現(xiàn)方法詳解

    Python通過TensorFLow進(jìn)行線性模型訓(xùn)練原理與實(shí)現(xiàn)方法詳解

    這篇文章主要介紹了Python通過TensorFLow進(jìn)行線性模型訓(xùn)練原理與實(shí)現(xiàn)方法,結(jié)合實(shí)例形式詳細(xì)分析了Python通過TensorFLow進(jìn)行線性模型訓(xùn)練相關(guān)概念、算法設(shè)計與訓(xùn)練操作技巧,需要的朋友可以參考下
    2020-01-01
  • Python unittest單元測試框架及斷言方法

    Python unittest單元測試框架及斷言方法

    這篇文章主要介紹了Python unittest單元測試框架及斷言方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-04-04
  • python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法

    python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法

    今天小編就為大家分享一篇python3應(yīng)用windows api對后臺程序窗口及桌面截圖并保存的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-08-08
  • python 比較字典value的最大值的幾種方法

    python 比較字典value的最大值的幾種方法

    這篇文章主要介紹了python 比較字典value的最大值,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-04-04
  • python如何使用jt400.jar包代碼實(shí)例

    python如何使用jt400.jar包代碼實(shí)例

    這篇文章主要介紹了python如何使用jt400.jar包代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2019-12-12
  • Cpython3.9源碼解析python中的大小整數(shù)

    Cpython3.9源碼解析python中的大小整數(shù)

    這篇文章主要介紹了Cpython3.9源碼解析python中的大小整數(shù),在CPython中,小整數(shù)對象池是一種優(yōu)化機(jī)制,用于減少對常用小整數(shù)的內(nèi)存分配和銷毀開銷,需要的朋友可以參考下
    2023-04-04
  • Python中struct模塊對字節(jié)流/二進(jìn)制流的操作教程

    Python中struct模塊對字節(jié)流/二進(jìn)制流的操作教程

    最近在學(xué)習(xí)python網(wǎng)絡(luò)編程這一塊,在寫簡單的socket通信代碼時,遇到了struct這個模塊的使用,當(dāng)時不太清楚這到底有和作用,后來查閱了相關(guān)資料大概了解了,這篇文章就主要介紹了Python中struct模塊對字節(jié)流/二進(jìn)制流的操作,需要的朋友可以參考借鑒。
    2017-01-01
  • 使用實(shí)現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯

    使用實(shí)現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯

    今天小編就為大家分享一篇使用實(shí)現(xiàn)XlsxWriter創(chuàng)建Excel文件并編輯,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-05-05
  • Python利用Diagrams繪制漂亮的系統(tǒng)架構(gòu)圖

    Python利用Diagrams繪制漂亮的系統(tǒng)架構(gòu)圖

    Diagrams  是一個基于Python繪制云系統(tǒng)架構(gòu)的模塊,它能夠通過非常簡單的描述就能可視化架構(gòu)。本文將利用它繪制漂亮的系統(tǒng)架構(gòu)圖,感興趣的可以了解一下
    2023-01-01

最新評論