Python爬取OPGG上英雄聯(lián)盟英雄勝率及選取率信息的操作
本次爬取網(wǎng)站為opgg，網(wǎng)址為：” http://www.op.gg/champion/statistics”
由網(wǎng)站界面可以看出，右側(cè)有英雄的詳細(xì)信息，以Garen為例，勝率為53.84%，選取率為16.99%，常用位置為上單
現(xiàn)對(duì)網(wǎng)頁(yè)源代碼進(jìn)行分析（右鍵鼠標(biāo)在菜單中即可找到查看網(wǎng)頁(yè)源代碼）。通過(guò)查找“53.84%”快速定位Garen所在位置
由代碼可看出，英雄名、勝率及選取率都在td標(biāo)簽中，而每一個(gè)英雄信息在一個(gè)tr標(biāo)簽中，td父標(biāo)簽為tr標(biāo)簽，tr父標(biāo)簽為tbody標(biāo)簽。
對(duì)tbody標(biāo)簽進(jìn)行查找
代碼中共有5個(gè)tbody標(biāo)簽（tbody標(biāo)簽開(kāi)頭結(jié)尾均有”tbody”，故共有10個(gè)”tbody”），對(duì)字段內(nèi)容分析，分別為上單、打野、中單、ADC、輔助信息
以上單這部分英雄為例，我們需要首先找到tbody標(biāo)簽，然后從中找到tr標(biāo)簽（每一條tr標(biāo)簽就是一個(gè)英雄的信息），再?gòu)淖訕?biāo)簽td標(biāo)簽中獲取英雄的詳細(xì)信息
二、爬取步驟
爬取網(wǎng)站內(nèi)容->提取所需信息->輸出英雄數(shù)據(jù)
getHTMLText(url)->fillHeroInformation(hlist,html)->printHeroInformation(hlist)
getHTMLText(url)函數(shù)是返回url鏈接中的html內(nèi)容
fillHeroInformation(hlist,html)函數(shù)是將html中所需信息提取出存入hlist列表中
printHeroInformation(hlist)函數(shù)是輸出hlist列表中的英雄信息
三、代碼實(shí)現(xiàn)
1、getHTMLText(url)函數(shù)
def getHTMLText(url): #返回html文檔信息
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text #返回html內(nèi)容
except:
return ""
2、fillHeroInformation(hlist,html)函數(shù)
以一個(gè)tr標(biāo)簽為例，tr標(biāo)簽內(nèi)有7個(gè)td標(biāo)簽，第4個(gè)td標(biāo)簽內(nèi)屬性值為"champion-index-table__name"的div標(biāo)簽內(nèi)容為英雄名，第5個(gè)td標(biāo)簽內(nèi)容為勝率，第6個(gè)td標(biāo)簽內(nèi)容為選取率，將這些信息存入hlist列表中
def fillHeroInformation(hlist,html): #將英雄信息存入hlist列表
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標(biāo)簽的兒子標(biāo)簽
if isinstance(tr,bs4.element.Tag): #判斷tr是否為標(biāo)簽類型，去除空行
tds = tr('td') #查找tr標(biāo)簽下的td標(biāo)簽
heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
winRate = tds[4].string #勝率
pickRate = tds[5].string #選取率
hlist.append([heroName,winRate,pickRate]) #將英雄信息添加到hlist列表中
3、printHeroInformation(hlist)函數(shù)
def printHeroInformation(hlist): #輸出hlist列表信息
print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","勝率","選取率","位置"))
for i in range(len(hlist)):
i = hlist[i]
print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上單"))
4、main()函數(shù)
網(wǎng)站地址賦值給url，新建一個(gè)hlist列表，調(diào)用getHTMLText(url)函數(shù)獲得html文檔信息，使用fillHeroInformation(hlist,html)函數(shù)將英雄信息存入hlist列表，再使用printHeroInformation(hlist)函數(shù)輸出信息
def main():
url = "http://www.op.gg/champion/statistics"
hlist = []
html = getHTMLText(url) #獲得html文檔信息
fillHeroInformation(hlist,html) #將英雄信息寫(xiě)入hlist列表
printHeroInformation(hlist) #輸出信息
四、結(jié)果演示
1、網(wǎng)站界面信息
2、爬取結(jié)果
五、完整代碼
import requests #導(dǎo)入requests庫(kù)
import bs4 #導(dǎo)入bs4庫(kù)
from bs4 import BeautifulSoup #導(dǎo)入BeautifulSoup庫(kù)
def getHTMLText(url): #返回html文檔信息
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text #返回html內(nèi)容
except:
return ""
def fillHeroInformation(hlist,html): #將英雄信息存入hlist列表
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍歷上單tbody標(biāo)簽的兒子標(biāo)簽
if isinstance(tr,bs4.element.Tag): #判斷tr是否為標(biāo)簽類型，去除空行
tds = tr('td') #查找tr標(biāo)簽下的td標(biāo)簽
heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
winRate = tds[4].string #勝率
pickRate = tds[5].string #選取率
hlist.append([heroName,winRate,pickRate]) #將英雄信息添加到hlist列表中
def printHeroInformation(hlist): #輸出hlist列表信息
print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","勝率","選取率","位置"))
for i in range(len(hlist)):
i = hlist[i]
print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上單"))
def main():
url = "http://www.op.gg/champion/statistics"
hlist = []
html = getHTMLText(url) #獲得html文檔信息
fillHeroInformation(hlist,html) #將英雄信息寫(xiě)入hlist列表
printHeroInformation(hlist) #輸出信息
main()
如果需要爬取打野、中單、ADC或者輔助信息，只需要修改
fillHeroInformation(hlist,html)
函數(shù)中的
for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children語(yǔ)句
將attrs屬性值修改為
"tabItem champion-trend-tier-JUNGLE"
"tabItem champion-trend-tier-MID"
"tabItem champion-trend-tier-ADC"
"tabItem champion-trend-tier-SUPPORT"
等即可!
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
Python中的反射知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給大家整理了一篇關(guān)于Python中的反射知識(shí)點(diǎn)總結(jié)內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)參考下。2021-11-11
這篇文章主要介紹了詳解Django中的form庫(kù)的使用,Django是最為著名的Python編程框架,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Python的高階函數(shù)用法,結(jié)合實(shí)例形式分析了Python針對(duì)字符串、列表轉(zhuǎn)換、運(yùn)算、過(guò)濾等操作函數(shù)相關(guān)使用技巧與注意事項(xiàng),需要的朋友可以參考下2019-04-04
Python實(shí)現(xiàn)解析路徑字符串并獲取每個(gè)文件夾名稱
在?Python?中,解析路徑字符串并獲取每個(gè)文件夾的名稱是一項(xiàng)常見(jiàn)的任務(wù),這篇文章主要為大家詳細(xì)介紹了Python解析路徑字符串的具體方法,希望對(duì)大家有所幫助2024-04-04
Python數(shù)據(jù)可視化實(shí)現(xiàn)正態(tài)分布（高斯分布）
這篇文章主要介紹了Python數(shù)據(jù)可視化實(shí)現(xiàn)正態(tài)分布（高斯分布），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-08-08
python如何實(shí)現(xiàn)convolution neural network卷積神經(jīng)網(wǎng)絡(luò)算法
卷積神經(jīng)網(wǎng)絡(luò)（CNN）是深度學(xué)習(xí)中重要的算法之一,主要應(yīng)用于圖像識(shí)別和處理領(lǐng)域,其基本原理是模擬人類視覺(jué)系統(tǒng),通過(guò)卷積層、激活函數(shù)和池化層等組件提取圖像的特征,并通過(guò)全連接層進(jìn)行分類或其他任務(wù),CNN訓(xùn)練過(guò)程中使用大量標(biāo)記圖像數(shù)據(jù)2024-10-10
這篇文章主要介紹了python中bisect模塊用法實(shí)例,以實(shí)例形式介紹了bisect模塊中幾種常見(jiàn)函數(shù)的用法,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2014-09-09
Python中判斷input()輸入的數(shù)據(jù)的類型
在pyhton中，經(jīng)常會(huì)用到input()語(yǔ)句，但是input()語(yǔ)句輸入的內(nèi)容只能是字符串類型，而我們經(jīng)常要輸入int類型的數(shù)據(jù)等，這個(gè)時(shí)候就需要用到int()方法給輸入的內(nèi)容強(qiáng)制轉(zhuǎn)換，今天小編給大家介紹下Python中判斷input()輸入的數(shù)據(jù)的類型，感興趣的朋友跟隨小編一起看看吧2022-11-11
YOLOv5車牌識(shí)別實(shí)戰(zhàn)教程(四)模型優(yōu)化與部署
這篇文章主要介紹了YOLOv5車牌識(shí)別實(shí)戰(zhàn)教程(四)模型優(yōu)化與部署,在這個(gè)教程中，我們將一步步教你如何使用YOLOv5進(jìn)行車牌識(shí)別,幫助你快速掌握YOLOv5車牌識(shí)別技能,需要的朋友可以參考下2023-04-04
在matplotlib.pyplot 中除了可以繪制常規(guī)圖表如折線、柱狀、散點(diǎn)等,還可以繪制常用在地理上的平面展示地型的等高線圖,在本中,我們將詳細(xì)學(xué)習(xí)matplotlib 繪制等高線圖相關(guān)屬性的學(xué)習(xí),需要的朋友可以參考下2023-11-11