前言

Python爬蟲，除了使用大家廣為使用的scrapy架構外，還有很多包能夠實現一些簡單的爬蟲，如BeautifulSoup、Urllib、requests，在使用這些包時，有的網絡因為比較復雜，比較難以找到自己想要的代碼，在這個時候，如果能夠使用正則表達式，將能很方便地爬取到自己想要的數據。

何為正則表達式

正則表達式是一種描述字符串排列的一種語法規(guī)則，通過該規(guī)則可以在一個大字符串中匹配出滿足規(guī)則的子字符串。簡單來說，就是給定了一個字符串，在字符串中找到想要的字符串，如一個電話號碼，一個IP地址，一個字段，在爬蟲過程中，如果靈活使用正則表達式，將極大地提升爬蟲效率。

Python使用正則表達式

re.match

import re
str1='123asdfa'
mathch1 = re.match("^[0-9]",str1)
print(mathch1.group())

結果

1

如果要匹配12，則

import re
str1='12s3asdfa'
mathch1 = re.findall("1[0-9]",str1)
print(mathch1)

結果

['12']

修改[0-9]為[10-19]是無法匹配到的。

因此，該語句將從頭到尾匹配字符，匹配到則結束，需要.group才能獲取到匹配到的值。

re.search

import re
str1='1a2s3asdfa'
mathch1 = re.search("^[0-9]",str1)
print(mathch1.group())

結果

1

從頭到尾匹配字符，直到找到一個匹配，需要.group才能獲取到匹配到的值。re.serach()和re.match()的區(qū)別，re.search()將匹配所有的字符，re.match只匹配字符串的開頭，如果開頭不符合規(guī)則，則返回None。

re.split()

import re
str1='1a2s3asdfa'
mathch1 = re.split("[0-9]",str1)
print(mathch1)

結果

['', 'a', 's', 'asdfa']

將匹配到的字符作為分隔符分隔字符串。

re.findall()

import re
str1='12s3asdfa'
mathch1 = re.findall("[0-9]",str1)
print(mathch1)

運行結果

['1', '2', '3']

匹配所有符合規(guī)則的字符。

re.sub(pattern, repl, string, count,flag)

import re
str1='12s3asdfa'
mathch1 = re.sub("[0-9]",'|',str1)
print(mathch1)

結果

||s|asdfa

用后面的字符替換前面的符合規(guī)則的字符。

爬蟲實例

如需要爬取豆瓣熱門電影2019，網址為：https://movie.douban.com/chart

首先鼠標右鍵查看網頁源代碼

如我們需要爬取電影的名稱，我們搜索‘

82年生的金智英'

正則表達式的思路是通過需要爬去的字段旁邊的字符去夾住想要的字符串，如我們需要‘82年生金智英'這穿字符，我們可以用“13px;">”和“<”去夾住它。

搜索該結構可以發(fā)現，只有標題會用到該結構，不會誤爬到其他無關字符串。下面上爬蟲代碼

import re
import requests
url='https://movie.douban.com/chart'
header={
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}
result= requests.get(url,headers=header)
data=re.findall(r'13px\;\"\>([^\<]+)',result.text)
print(data)

結果是一個長度為9的數組。

['82年生金智英 / Kim Ji-young,Born 1982', '愛爾蘭殺手(港) / 聽說你刷房子了', '小丑起源電影：羅密歐 / Romeo', '情迷紐約下雨天(港) / 紐約有雨', '從前， 有個荷里活(港) / 從前，有個好萊塢...(臺)', '長安盜', '地下6號 / 六尺之下', '喪尸樂園：連環(huán)尸殺(港) / 尸樂園：臟比雙拼(臺)', '浴火的少女畫像(港) / 燃 燒女子的畫像(臺)']

該爬蟲需要用到headers，不然會拒絕連接。

data=re.findall(r'13px\;\"\>([^\<]+)',result.text)

表示在result.text這個長字符串中查找，獲取“13px;">”和“<”之間的字符串，" \ "代表轉移字符，否則無法識別這些符號。

這個案例可能不是最好的使用正則表達式的例子，但是想要給大家分享的是，以后如果遇到很復雜的網絡結構，與其一層一層解析，不妨換一種思路，使用正則表達式說不定能夠“柳暗花明又一村”。

總結

到此這篇關于Python爬蟲教程之利用正則表達式匹配網頁內容的文章就介紹到這了,更多相關Python爬蟲用正則表達式匹配網頁內容內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論