用Python爬取指定關(guān)鍵詞的微博
前幾天學校一個老師在做微博的輿情分析找我?guī)退阋粋€用關(guān)鍵字爬取微博的爬蟲,再加上最近很多讀者問志斌微博爬蟲的問題,今天志斌來跟大家分享一下。
一、分析頁面
我們此次選擇的是從移動端來對微博進行爬取。移動端的反爬就是信息校驗反爬蟲的cookie
反爬蟲,所以我們首先要登陸獲取cookie
。
登陸過后我們就可以獲取到自己的cookie
了,然后我們來觀察用戶是如何搜索微博內(nèi)容的。
平時我們都是在這個地方輸入關(guān)鍵字,來進行搜索微博。
我通過在開發(fā)者模式下對這個頁面觀察發(fā)現(xiàn),它每次對關(guān)鍵字發(fā)起請求后,就會返回一個XHR響應。
我們現(xiàn)在已經(jīng)找到數(shù)據(jù)真實存在的頁面了,那就可以進行爬蟲的常規(guī)操作了。
二、數(shù)據(jù)采集
在上面我們已經(jīng)找到了數(shù)據(jù)存儲的真實網(wǎng)頁,現(xiàn)在我們只需對該網(wǎng)頁發(fā)起請求,然后提取數(shù)據(jù)即可。
1、發(fā)起請求
通過對請求頭進行觀察,我們不難構(gòu)造出請求代碼。
代碼如下:
key = input("請輸入爬取關(guān)鍵字:") for page in range(1,10): params = ( ('containerid', f'100103type=1&q={key}'), ('page_type', 'searchall'), ('page', str(page)), ) response = requests.get('https://m.weibo.cn/api/container/getIndex', headers=headers, params=params)
2、提取數(shù)據(jù)
從上面我們觀察發(fā)現(xiàn)這個數(shù)據(jù)可以轉(zhuǎn)化成字典來進行爬取,但是經(jīng)過我實際測試發(fā)現(xiàn),用正則來提取是最為簡單方便的,所以這里展示的是正則提取的方式,有興趣的讀者可以嘗試用字典方式來提取數(shù)據(jù)。
代碼如下:
r = response.text title = re.findall('"page_title":"(.*?)"',r) comments_count = re.findall('"comments_count":(.*?),',r) attitudes_count = re.findall('"attitudes_count":(.*?),',r) for i in range(len(title)): print(eval(f"'{title[i]}'"),comments_count[i],attitudes_count[i])
在這里有一個小問題要注意,微博的標題是用Unicode
編碼的,如果直接爬取存儲,將存儲的是Unicode
編碼,在這里要感謝大佬—小明哥的幫助,志斌在網(wǎng)上搜了好多解決方法都沒有成功,最后小明哥一個簡單的函數(shù)就給解決了,實在是佩服!
解決方案:用eval()來輸出標題,就可以將Unicode轉(zhuǎn)換成漢字了。
三、小結(jié)
1. 本文詳細介紹了如何用Python
指定關(guān)鍵字爬取微博,有興趣的讀者可以嘗試自己動手練習一下。
2. 本文僅供讀者學習使用,不做其他用途!
到此這篇關(guān)于用Python爬取指定關(guān)鍵詞的微博的文章就介紹到這了,更多相關(guān)Python爬取指定關(guān)鍵詞的微博內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Tensorflow訓練MNIST手寫數(shù)字識別模型
這篇文章主要為大家詳細介紹了Tensorflow訓練MNIST手寫數(shù)字識別模型,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2020-02-02