使用Python編程分析火爆全網(wǎng)的魷魚游戲豆瓣影評

更新時間：2021年10月08日 10:04:35 作者：小張Python

本文來為大家介紹如何使用Python爬取影評的操作，主要是爬取《魷魚游戲》在豆瓣上的一些影評，對數(shù)據(jù)做一些簡單的分析，用數(shù)據(jù)的角度重新審視下這部劇，有需要的朋友可以借鑒參考下

技術(shù)工具

在正文開始之前，先介紹下本篇文章中用到的技術(shù)棧和工具。

本文用到的技術(shù)棧和工具如下，歸結(jié)為四個方面；

語言：Python，Vue ，javascript；
存儲：MongoDB;
庫：echarts ，Pymongo，WordArt…
軟件：Photoshop；

數(shù)據(jù)采集

本次數(shù)據(jù)采集的目標(biāo)網(wǎng)站為豆瓣，但自己的賬號之前被封，所以只能采集到大概二百來條數(shù)據(jù)，豆瓣有相應(yīng)的反爬機(jī)制，瀏覽10頁以上的評論需要用戶登錄才能進(jìn)行下一步操作

至于為啥賬號被封，是因為之前自己學(xué)爬蟲時不知道在哪里搞的【豆瓣模擬登錄】代碼，當(dāng)時不知道代碼有沒有問題，愣頭青直接用自己的號試了下，誰知道剛試完就被封了，而且還是永久的那種

圖1

在這里也給大家提個醒在以后做爬蟲時，模擬登錄時盡量用一些測試賬號，能不用自己的號就別用，

這次數(shù)據(jù)采集也比較簡單，就是更改圖2 中 url 上的 start 參數(shù)，以 offset 為 20 的規(guī)則作為下一頁 url 的拼接；

圖2

拿到請求連接之后，用 requests 的 get 請求，再對獲取到的 html 數(shù)據(jù)做個解析，就能獲取到我們需要的數(shù)據(jù)了；采集核心代碼貼在下方

for offset in range(0,220,20):
    url = "https://movie.douban.com/subject/34812928/comments?start={}&limit=20&status=P&sort=new_score".format(offset)
    res = requests.get(url,headers= headers)
    # print(res.text)
    soup = BeautifulSoup(res.text,'lxml')
    time.sleep(2)
    for comment_item in soup.select("#comments > .comment-item"):
        try:

            data_item = []
            avatar = comment_item.select(".avatar a img")[0].get("src")
            name = comment_item.select(".comment h3 .comment-info a")[0]
            rate = comment_item.select(".comment h3 .comment-info span:nth-child(3)")[0]
            date = comment_item.select(".comment h3 .comment-info span:nth-child(4)")[0]
            comment = comment_item.select(".comment .comment-content span")[0]
            # comment_item.get("div img").ge
            data_item.append(avatar)
            data_item.append(str(name.string).strip("\t"))
            data_item.append(str(rate.get("class")[0]).strip("allstar").strip('\t').strip("\n"))
            data_item.append(str(date.string).replace('\n','').strip('\t'))
            data_item.append(str(comment.string).strip("\t").strip("\n"))
            data_json ={
                'avatar':avatar,
                'name': str(name.string).strip("\t"),
                'rate': str(rate.get("class")[0]).strip("allstar").strip('\t').strip("\n"),
                'date' : str(date.string).replace('\n','').replace('\t','').strip(' '),
                'comment': str(comment.string).strip("\t").strip("\n")
            }
            if not (collection.find_one({'avatar':avatar})):
               print("data _json is {}".format(data_json))
               collection.insert_one(data_json)
            f.write('\t'.join(data_item))
            f.write("\n")
        except Exception as e:
            print(e)
            continue

豆瓣爬取時需要記得加上 cookie 和 User-Agent，否則不會有數(shù)據(jù)為空，

為了后面數(shù)據(jù)可視化提取方便，本文用的是 Mongodb 作為數(shù)據(jù)存儲，共有211 條數(shù)據(jù)，主要采集的數(shù)據(jù)字段為 avatar，name、rate、date、comment，分別表示用戶頭像、用戶名字、星級、日期，評論；結(jié)果見圖3；