Python爬蟲爬取博客實現(xiàn)可視化過程解析
源碼:
from pyecharts import Bar import re import requests num=0 b=[] for i in range(1,11): link='https://www.cnblogs.com/echoDetected/default.html?page='+str(i) headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36'} r=requests.get(link,headers=headers) html=r.text post=re.findall('<span class="post-view-count">(.*?)</span>',html) for i in post: i = i.replace("閱讀(", "") i = i.replace(")","") b.append(i) num=num+1 columns=[] for i in range(1,num+1): #設(shè)置行名 columns.append('博客'+str(i)) #設(shè)置數(shù)據(jù) #設(shè)置柱狀圖的主標題與副標題 bar = Bar("柱狀圖", "每個博客閱讀數(shù)量") #添加柱狀圖的數(shù)據(jù)及配置項,先行后列 bar.add("閱讀量", columns, b, mark_line=["average"], mark_point=["max", "min"]) #生成本地文件(默認為.html文件) bar.render()
爬蟲不是重點,只是拿來爬閱讀數(shù)量,pyecharts是重點
這次爬的是我自己的博客,一共10頁,每頁10片文章,正好寫了100篇博客
pyecharts安裝:
pip install wheelpip install pyecharts==0.1.9.4
直接pip install pyecharts會下載最新版無法調(diào)用
注意點:pyecharts調(diào)用,貌似無法實現(xiàn)多個py文件一起調(diào)用(意思是編寫時不能在多個文件里出現(xiàn)import語句)
步驟解釋:
1.爬蟲爬取閱讀數(shù)
2.去除非法字符裝入新的數(shù)組
3.設(shè)置橫軸數(shù)據(jù),生成柱狀圖
4.在當前目錄下生成render.html,打開查看柱狀圖
結(jié)果:
柱狀圖是動態(tài)的,不是靜態(tài)的
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
python3?flask使用連接池連接數(shù)據(jù)庫實例
這篇文章主要為大家介紹了python3?flask使用連接池連接數(shù)據(jù)庫實例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-08-08Windows下Pycharm遠程連接虛擬機中Centos下的Python環(huán)境(圖文教程詳解)
由于最近學習tensorflow的需要,tensorflow是在Linux環(huán)境下,使用的是Python。為了方便程序的調(diào)試,嘗試在Windows下的Pycharm遠程連接到虛擬機中Centos下的Python環(huán)境,感興趣的朋友跟隨小編看看吧2020-03-03django模板結(jié)構(gòu)優(yōu)化的方法
這篇文章主要介紹了django模板結(jié)構(gòu)優(yōu)化的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-02-02基于CentOS搭建Python Django環(huán)境過程解析
這篇文章主要介紹了基于CentOS搭建Python Django環(huán)境過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-08-08python實現(xiàn)畫出e指數(shù)函數(shù)的圖像
今天小編就為大家分享一篇python實現(xiàn)畫出e指數(shù)函數(shù)的圖像,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11在Python的Django框架中創(chuàng)建和使用模版
這篇文章主要介紹了在Python的Django框架中創(chuàng)建和使用模版的方法,包括使用manage.py shell來幫助設(shè)置模版的方法,需要的朋友可以參考下2015-07-07python 三種方法實現(xiàn)對Excel表格的讀寫
這篇文章主要介紹了python 三種方法實現(xiàn)對Excel表格的讀寫,幫助大家更好的利用python處理表格,感興趣的朋友可以了解下2020-11-11