Python爬蟲實戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)
更新時間：2021年10月21日 10:45:35 作者：松鼠愛吃餅干
讀萬卷書不如行萬里路，只學書上的理論是遠遠不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python采集糗事百科段子的數(shù)據(jù),大家可以在過程中查缺補漏，提升水平
知識點
1.爬蟲基本步驟
2.requests模塊
3.parsel模塊
4.xpath數(shù)據(jù)解析方法
5.分頁功能
爬蟲基本步驟:
1.獲取網(wǎng)頁地址 (糗事百科的段子的地址)
2.發(fā)送請求
3.數(shù)據(jù)解析
4.保存 本地
爬蟲代碼
導入所需模塊
import re import requests import parsel
獲取網(wǎng)頁地址
url = 'https://www.qiushibaike.com/text/'
# 請求頭 偽裝客戶端向服務器發(fā)送請求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}
發(fā)送請求
requ = requests.get(url=url, headers=headers).text
數(shù)據(jù)解析
sel = parsel.Selector(requ) # 解析對象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
txt_ + html
requ2 = requests.get(url=txt_href, headers=headers).text
sel2 = parsel.Selector(requ2)
title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
title = re.sub(r'[|/\：？<>*]','_',title)
# content = sel2.xpath('//div[@class="content"]/text()').getall()
content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
contents = '\n'.join(content)
保存數(shù)據(jù)
with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
fp.write(contents)
print(title, '下載成功')
運行代碼，得到數(shù)據(jù)
【付費VIP完整版】只要看了就能學會的教程，80集Python基礎(chǔ)入門視頻教學
到此這篇關(guān)于Python爬蟲實戰(zhàn)演練之采集糗事百科段子數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 采集糗事百科段子內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Pytorch如何切換 cpu和gpu的使用詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要介紹了用Python登錄好友QQ空間點贊的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了Playwright安裝和基本使用問題記錄,playwright是一款新型的自動化測試工具，功能非常強大，有很多優(yōu)點，缺點就是使用的人比較少，本文通過實例代碼介紹的非常詳細，需要的朋友可以參考下2023-05-05
如何基于opencv實現(xiàn)簡單的數(shù)字識別
現(xiàn)在很多場景需要使用的數(shù)字識別,比如銀行卡識別,以及車牌識別等,在AI領(lǐng)域有很多圖像識別算法,大多是居于opencv 或者谷歌開源的tesseract 識別,下面這篇文章主要給大家介紹了關(guān)于如何基于opencv實現(xiàn)簡單的數(shù)字識別,需要的朋友可以參考下2021-09-09
這篇文章主要為大家詳細介紹了利用Python實現(xiàn)繪制3D立體愛心圖案的四種不同方法，文中的示例代碼講解詳細，感興趣的小伙伴可以動手嘗試一下2022-11-11
Python開啟Http Server的實現(xiàn)步驟
本文主要介紹了Python開啟Http Server的實現(xiàn)步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-07-07
今天小編就為大家分享一篇numpy.linspace 生成等差數(shù)組的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
今天小編就為大家分享一篇python url 參數(shù)修改方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python中Flask?Web?表單的使用方法介紹，表單的操作是Web程序開發(fā)中最核心的模塊之一，絕大多數(shù)的動態(tài)交互功能都是通過表單的形式實現(xiàn)的。更多介紹需要的小伙伴可以參考下面文章內(nèi)容2022-09-09
基于python代碼實現(xiàn)簡易濾除數(shù)字的方法
今天小編就為大家分享一篇基于python代碼實現(xiàn)簡易濾除數(shù)字的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07