Python爬取幾千條相親文案

更新時間：2021年12月21日 09:10:41 作者：遲業(yè)

這篇文章主要介紹了Python爬取幾千條相親文案，其實具體的說應(yīng)該是通過Python寫了一個簡單的腳本在抓取公開的相親文案,需要的小伙伴可以參考一下，希望對你有所幫助

1.代碼的編寫過程

我們引入需要用到的庫，這里用到Python當中的requests庫來發(fā)送和接受請求，通過正則表達式re這個庫來解析數(shù)據(jù)

import requests
from tenacity import *
import re
import time

很多時候?qū)τ龅秸埱蟪瑫r的情況，因此當出現(xiàn)一次錯的時候，我們會多嘗試幾次，因此這里使用retry裝飾器來多次嘗試

@retry(stop=stop_after_attempt(5))
def do_requests(url):
    response = requests.get(url, headers=headers, proxies=proxies, timeout=10)
    return response.text

我們抓取的數(shù)據(jù)包括出生年份、身高/體重、學歷、收入、職業(yè)、自我介紹、擇偶標準、車房情況等等，都是通過正則表達式re庫來實現(xiàn)的，

date_of_birth = re.compile("<br/>①出生年月/星座(.*?)<br/>", re.M | re.S)
sex = re.compile("<br/>【基本資料】(.*?)<br/>")
height = re.compile("<br/>②身高/體重(.*?)<br/>")
education = re.compile("<br/>⑤學歷(.*?)<br/>")
jobs_1 = re.compile("<br/>⑥職業(yè)(.*?)<br/>")
income = re.compile("<br/>⑦月均收入(.*?)<br/>")
married = re.compile("<br/>⑨有無婚史(.*?)<br/>")
house_cars = re.compile("<br/>⑧車房情況(.*?)<br/>")
self_intro = re.compile("<br/>? 自我介紹(.*?)<br/>")
requirements = re.compile("<br/>【擇偶標準】<br/>(.*?)</a>")
family_member = re.compile("<br/>⑩家庭成員(.*?)<br/>")

2.結(jié)果的可視化展示

我們先來看一下性別比例，從分布來看，女生前來相親的比例更高，主要也是因為數(shù)據(jù)源是來自北京、上海、杭州等大城市的相親介紹，大城市中似乎女生脫單更加困難一些，

我們再來看一下單身的女性的特征，首先她們的年齡主要集中在94、93以及95年左右，正好都是處在適婚的年齡

而她們的學歷，本科占到了絕大多數(shù)，基本上都有本科的學歷，而大專的占比排在第二，碩士和博士處于少數(shù)

另外小編也對單身女性的星座做了一個統(tǒng)計，發(fā)現(xiàn)處女座、天秤座以及射手座、白羊座的女性單身率略高一些

最后，我們來看一下她們的擇偶標準吧，小編將她們的擇偶標準單獨提取出來，然后繪制成了詞云圖

review_list = []
reviews = get_cut_words("".join(df_girls["requirements"].astype(str).tolist()))
reviews_counter = Counter(reviews).most_common(200)
print(reviews_counter)

for review in reviews_counter:
    review_list.append((" " + review[0] + " ") * review[1])

stylecloud.gen_stylecloud(text=" ".join(review_list), max_words=500, collocations=False,
                          font_path="KAITI.ttf", icon_name="fab fa-apple", size=653,
                          output_name="4.png")

最后呈現(xiàn)出來的樣子如下圖所示：