Python3使用正則表達(dá)式爬取內(nèi)涵段子示例
本文實(shí)例講述了Python3使用正則表達(dá)式爬取內(nèi)涵段子的方法。分享給大家供大家參考，具體如下：
似乎正則在爬蟲(chóng)中用的不是很廣泛，但是也是基本功需要我們?nèi)フ莆铡?/p>
先將內(nèi)涵段子網(wǎng)頁(yè)爬取下來(lái)，之后利用正則進(jìn)行匹配，匹配完成后將匹配的段子寫(xiě)入文本文檔內(nèi)。代碼如下：
# -*- coding:utf-8 -*-
from urllib import request as urllib2
import re
# 利用正則表達(dá)式爬取內(nèi)涵段子
url = r'http://www.neihanpa.com/article/list_5_{}.html'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0',
}
file_name = '內(nèi)涵段子.txt'
for page in range(2):
# 2表示頁(yè)數(shù)，可以自行調(diào)整
fullurl = url.format(str(page+1))
request = urllib2.Request(url=fullurl, headers=headers)
response = urllib2.urlopen(request)
html = response.read().decode('gbk')
# re.S 如果沒(méi)有re.S 則是只匹配一行有沒(méi)有符合規(guī)則的字符串，如果沒(méi)有則下一行重新匹配
# 如果加上re.S 則是將所有的字符串作為一個(gè)整體進(jìn)行匹配
pattern = re.compile(r'<div\sclass="f18 mb20">(.*?)</div>',re.S)
duanzis = pattern.findall(html)
for duanzi in duanzis:
duanzi = duanzi.replace('<p>','').replace('</p>','').replace('<br />','\n').replace('“','').replace('&rdquo','').replace('…','')
try:
# 將爬取的段子寫(xiě)入文件
file = open(file_name,'a',encoding='utf-8')
file.write('\n'.join(duanzi.split()))
file.close()
except OSError as e:
print(e)
運(yùn)行后生成如下圖所示文件：
PS：這里再為大家提供2款非常方便的正則表達(dá)式工具供大家參考使用：
JavaScript正則表達(dá)式在線測(cè)試工具：
http://tools.jb51.net/regex/javascript
正則表達(dá)式在線生成工具：
http://tools.jb51.net/regex/create_reg
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專(zhuān)題：《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門(mén)與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
詳解Django模板層過(guò)濾器和繼承的問(wèn)題
今天抽空給大家介紹Django模板層過(guò)濾器和繼承的問(wèn)題，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2021-07-07
今天小編就為大家分享一篇numpy添加新的維度:newaxis的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-08-08
Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理基本操作詞袋模型
本文是Python機(jī)器學(xué)習(xí)NLP自然語(yǔ)言處理系列文章，帶大家開(kāi)啟一段學(xué)習(xí)自然語(yǔ)言處理 (NLP) 的旅程。本篇文章主要學(xué)習(xí)NLP自然語(yǔ)言處理基本操作之詞袋模型2021-09-09
這篇文章主要介紹了Pytorch 高效使用GPU的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
在Python中使用zlib模塊進(jìn)行數(shù)據(jù)壓縮的教程
這篇文章主要介紹了在Python中使用zlib模塊進(jìn)行數(shù)據(jù)壓縮的教程,是Python入門(mén)學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-06-06
這篇文章主要介紹了Python 反轉(zhuǎn)輸出正整數(shù)的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03
因?yàn)镚oogle App Engine 被墻，我無(wú)法繼續(xù)完善我的Moven project 還有20＋天才回去，怕到時(shí)候會(huì)忘記project的進(jìn)度和細(xì)節(jié)就趁著個(gè)冷的什么都不想干的時(shí)候， 大概的總結(jié)一下2016-02-02
對(duì)python requests發(fā)送json格式數(shù)據(jù)的實(shí)例詳解
今天小編就為大家分享一篇對(duì)python requests發(fā)送json格式數(shù)據(jù)的實(shí)例詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-12-12
OpenCV結(jié)合selenium實(shí)現(xiàn)滑塊驗(yàn)證碼
本文主要介紹了OpenCV結(jié)合selenium實(shí)現(xiàn)滑塊驗(yàn)證碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-08-08
這篇文章主要介紹了Python爬蟲(chóng)制作翻譯程序的示例代碼,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-02-02