Python實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能
大家好，我是丁小杰。
上次和大家分享了Python定時(shí)爬取微博熱搜示例介紹，堪稱摸魚神器，一個(gè)熱榜不夠看？今天我們?cè)賮砼廊∫幌露兑魺崴寻?，感興趣的小伙伴可以自己動(dòng)手嘗試一下哦。
抖音熱搜榜
鏈接：https://tophub.today/n/K7GdaMgdQy
整個(gè)熱榜共50條數(shù)據(jù)，本次爬取的內(nèi)容：排名、熱度、標(biāo)題、鏈接。
requests 爬取
requests 是一種非常簡(jiǎn)單的方法，由于該頁面沒有反爬措施，所以直接get 請(qǐng)求頁面即可。
import?requests
import?pandas?as?pd
headers?=?{
????'User-Agent':?'Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/94.0.4606.54?Safari/537.36'
}
url?=?'https://tophub.today/n/K7GdaMgdQy'
page_text?=?requests.get(url=url,?headers=headers).text
page_text
可以看到，只需要幾行代碼，數(shù)據(jù)就很輕松地獲取到了。
selenium 爬取
將selenium設(shè)置為無頭瀏覽器，打開指定url獲取頁面數(shù)據(jù)。
from?selenium?import?webdriver
option?=?webdriver.ChromeOptions()
option.add_argument('--headless')
driver?=?webdriver.Chrome(options=option)
url?=?'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)
page_text?=?driver.page_source
兩種爬取方法都能夠成功獲取到數(shù)據(jù)，但requests相對(duì)簡(jiǎn)潔，整個(gè)代碼運(yùn)行速度也更快，如果頁面數(shù)據(jù)不是動(dòng)態(tài)加載的話，用requests相對(duì)方便。
數(shù)據(jù)解析
現(xiàn)在用lxml庫解析我們爬取的數(shù)據(jù)，并保存到excel中。
tree?=?etree.HTML(page_text)
tr_list?=?tree.xpath(
????'//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')
df?=?pd.DataFrame(columns=['排名',?'熱度',?'標(biāo)題',?'鏈接'])
for?index,?tr?in?enumerate(tr_list):
????hot?=?tr.xpath('./td[3]/text()')[0]
????title?=?tr.xpath('./td[2]/a/text()')[0]
????article_url?=?tr.xpath('./td[2]/a/@href')[0]
????df?=?df.append({
????????'排名':?index?+?1,
????????'熱度':?hot,
????????'標(biāo)題':?title,
????????'鏈接':?article_url},?ignore_index=True)
df['鏈接']?=?'https://tophub.today'?+?df['鏈接']
df
運(yùn)行結(jié)果
設(shè)置定時(shí)運(yùn)行
至此，爬取代碼已經(jīng)完成，想要實(shí)現(xiàn)每小時(shí)自動(dòng)運(yùn)行代碼，可以使用任務(wù)計(jì)劃程序。
打開任務(wù)計(jì)劃程序，【創(chuàng)建任務(wù)】
輸入名稱，名稱隨便起就好。
選擇【觸發(fā)器】>>【新建】>>【設(shè)置觸發(fā)時(shí)間】
選擇【操作】>>【新建】>>【選擇程序】
最后確認(rèn)即可。到時(shí)間就會(huì)自動(dòng)運(yùn)行，或者右鍵任務(wù)手動(dòng)運(yùn)行。
這就是今天要分享的內(nèi)容，整體難度不大，希望大家能夠有所收獲，文章中的代碼拼接起來就可以運(yùn)行！
以上就是Python實(shí)現(xiàn)抖音熱搜定時(shí)爬取功能的詳細(xì)內(nèi)容，更多關(guān)于Python抖音熱搜爬取的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
python的裝飾器本質(zhì)上是一個(gè)Python函數(shù)，它可以讓其他函數(shù)在不需要做任何代碼變動(dòng)的前提下增加額外功能；裝飾器的返回值也是一個(gè)函數(shù)對(duì)象。簡(jiǎn)單的說裝飾器就是一個(gè)用來返回函數(shù)的函數(shù)2021-05-05
Python實(shí)現(xiàn)OpenCV的安裝與使用示例
這篇文章主要介紹了Python實(shí)現(xiàn)OpenCV的安裝與使用,結(jié)合實(shí)例形式分析了Python中OpenCV的安裝及針對(duì)圖片的相關(guān)操作技巧,需要的朋友可以參考下2018-03-03
這篇文章主要介紹了六個(gè)竅門助你提高Python運(yùn)行效率,本文講解了關(guān)鍵代碼使用外部功能包、在排序時(shí)使用鍵、針對(duì)循環(huán)的優(yōu)化、使用較新的Python版本等優(yōu)化竅門,需要的朋友可以參考下2015-06-06
Base64?就是一種基于64個(gè)可打印字符來表示二進(jìn)制數(shù)據(jù)的方法，這篇文章主要介紹了Python?Base64編碼和解碼,需要的朋友可以參考下2022-12-12
python中的對(duì)數(shù)log函數(shù)表示及用法
在本篇文章里小編給大家整理了一篇關(guān)于python中的對(duì)數(shù)log函數(shù)表示及用法，有需要的朋友們可以學(xué)習(xí)下。2020-12-12
Python實(shí)現(xiàn)一個(gè)論文下載器的過程
這篇文章主要介紹了Python實(shí)現(xiàn)一個(gè)論文下載器的過程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-01-01
隨機(jī)漫步生成是無規(guī)則的，是系統(tǒng)自行選擇的結(jié)果。接下來通過本文給大家介紹Python實(shí)現(xiàn)隨機(jī)漫步功能，感興趣的朋友跟隨腳本之家小編一起看看吧2018-07-07
1行Python代碼實(shí)現(xiàn)去除圖片水印詳解
這篇文章主要為大家介紹了1行Python代碼實(shí)現(xiàn)去除圖片水印詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
這篇文章主要介紹了淺談pytorch中的BN層的注意事項(xiàng)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
pyTorch深度學(xué)習(xí)softmax實(shí)現(xiàn)解析
這篇文章主要介紹了pytorch深度學(xué)習(xí)中對(duì)softmax實(shí)現(xiàn)進(jìn)行了詳細(xì)解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-09-09