Python采集王者最低戰(zhàn)力信息實(shí)戰(zhàn)示例

更新時(shí)間：2023年04月18日 09:56:03 作者：極客飛虎

這篇文章主要為大家介紹了Python采集王者最低戰(zhàn)力信息實(shí)戰(zhàn)示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪

??數(shù)據(jù)采集

??確定網(wǎng)址

王者新賽季馬上就要開(kāi)始了，大家都開(kāi)始沖榜了，準(zhǔn)備拿一個(gè)小省標(biāo)，那么，本文，就來(lái)練習(xí)獲取各地最低戰(zhàn)力的爬蟲(chóng)采集實(shí)戰(zhàn)。

確定好我們的目標(biāo)網(wǎng)址之后，我們要找到我們需要的數(shù)據(jù)源，通過(guò)開(kāi)發(fā)者工具分析，我們不難發(fā)現(xiàn)其數(shù)據(jù)地址。

請(qǐng)求URL：

https://www.sapi.run/hero/select.php

請(qǐng)求方式：

GET

參數(shù)：

參數(shù)名	必選	類型	說(shuō)明
hero	是	string	英雄名
type	是	string	選aqq、awx、iqq、iwx

請(qǐng)求示例

https://www.sapi.run/hero/select.php?hero=孫悟空&amp;type=aqq

返回示例

{
  "code": 200,
  "data": {
    "uid": "167",
    "name": "孫悟空",
    "alias": "齊天大圣-孫悟空",
    "platform": "安卓-扣扣區(qū)",
    "photo": "https://game.gtimg.cn/images/yxzj/img201606/heroimg/167/167.jpg",
    "area": "武強(qiáng)縣",
    "areaPower": "3693",
    "city": "潮州市",
    "cityPower": "5501",
    "province": "天津市",
    "provincePower": "7274",
    "guobiao": "11404",
    "stamp": "1654640093",
    "updatetime": "2022/06/08 06:14:53",
    "clientIP": "119.0.0.126"
  },
  "msg": " "
}

下面，我們開(kāi)始寫(xiě)代碼。

??獲取數(shù)據(jù)

第一步，發(fā)送請(qǐng)求，獲得數(shù)據(jù)。

import requests
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}
hero_url = 'https://pvp.qq.com/web201605/herolist.shtml'
response = requests.get(url=hero_url, headers=headers)

這段代碼中，我們使用 Python 的 requests 模塊發(fā)送了一個(gè) GET 請(qǐng)求，請(qǐng)求的 URL 為 https://pvp.qq.com/web201605/herolist.shtml，并且使用了 headers 參數(shù)來(lái)設(shè)置請(qǐng)求頭信息。請(qǐng)求頭信息包括了 user-agent 字段，用于指定瀏覽器的 User-Agent 信息。

請(qǐng)求返回的結(jié)果是一個(gè) Response 對(duì)象，我們可以使用 response.text 屬性來(lái)獲取請(qǐng)求的響應(yīng)內(nèi)容。在這個(gè)例子中，我們使用了 response.json() 方法來(lái)將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 response.text 屬性中。

response.encoding='gbk'
heros = re.findall('alt=".*?">(.*?)</a>',response.text)[0:93]

這段代碼中，我們使用 Python 的 re 模塊中的 findall() 函數(shù)來(lái)查找 JSONP 回調(diào)函數(shù)的參數(shù)。findall() 函數(shù)可以返回一個(gè)列表，其中包含了所有匹配的子字符串。

在這個(gè)例子中，我們使用 findall() 函數(shù)來(lái)查找 JSONP 回調(diào)函數(shù)的參數(shù)，并將其存儲(chǔ)在 response.text 變量中。然后，我們使用 [0:93] 來(lái)獲取第一個(gè)匹配的子字符串，并將其存儲(chǔ)在 heros 變量中。

需要注意的是，findall() 函數(shù)返回的子字符串列表中可能包含多個(gè)匹配的子字符串，因此我們需要使用 [0:93] 來(lái)獲取第一個(gè)匹配的子字符串。

??解析數(shù)據(jù)

我們發(fā)現(xiàn)，我們得到了這樣英雄名字的數(shù)據(jù)，下面，我們就可以構(gòu)建url，獲取戰(zhàn)力信息。

for hero in heros:
    print(hero)
    url = f'https://www.sapi.run/hero/select.php?hero={hero}&amp;type=qq'
    res = requests.get(url)
    data = res.json()['data']
    name = data['name']
    area = data['area']
    areaPower= data['areaPower']
    city = data['city']
    cityPower = data['cityPower']
    province= data['province']
    provincePower = data['provincePower']
    platform= data['platform']
    updatetime = data['updatetime']

這段代碼中，我們使用 Python 的 requests 模塊發(fā)送了一個(gè) GET 請(qǐng)求，請(qǐng)求的 URL 為 https://www.sapi.run/hero/select.php?hero={hero}&type=qq，并且使用了 json() 方法將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 res.json() 變量中。

請(qǐng)求返回的結(jié)果是一個(gè) Response 對(duì)象，我們可以使用 response.json() 方法將響應(yīng)內(nèi)容轉(zhuǎn)換為 JSON 格式，并將其存儲(chǔ)在 res.json() 變量中。

在這個(gè)例子中，我們使用了 res.json() 變量來(lái)獲取響應(yīng)內(nèi)容，并將其存儲(chǔ)在 data 變量中。然后，我們使用 name 變量獲取了英雄名稱，使用 area 變量獲取了區(qū)域名字，使用 areaPower 變量獲取了區(qū)域戰(zhàn)力，使用 city 變量獲取了市，使用 cityPower 變量獲取了市戰(zhàn)力，使用 province 變量獲取了省份，使用 provincePower 變量獲取了省份戰(zhàn)力，使用 platform 變量獲取了平臺(tái)，使用 updatetime 變量獲取了更新時(shí)間。

保存數(shù)據(jù)

dit = {
    '英雄名稱':name,
    '服務(wù)區(qū)':platform,
    '更新時(shí)間': updatetime,
    '銅牌區(qū)域':area,
    '銅牌分?jǐn)?shù)': areaPower,
    '銀牌區(qū)域':city,
    '銀牌分?jǐn)?shù)': cityPower,
    '金牌區(qū)域':province,
    '金牌分?jǐn)?shù)':provincePower ,
}

這段代碼是一個(gè) Python 代碼片段，它定義了一個(gè)字典，其中包含了一些英雄的信息，包括英雄名稱、服務(wù)區(qū)、更新時(shí)間、銅牌區(qū)域、銅牌分?jǐn)?shù)、銀牌區(qū)域、銀牌分?jǐn)?shù)、金牌區(qū)域、金牌分?jǐn)?shù)等。

下面就是數(shù)據(jù)的寫(xiě)入了。其實(shí)，把字典數(shù)值寫(xiě)入到csv文件里面，特別簡(jiǎn)單，只需呀四行代碼就可以實(shí)現(xiàn)。

f = open('最低戰(zhàn)力.csv', mode='a', encoding='utf-8_sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['英雄名稱', '服務(wù)區(qū)', '更新時(shí)間', '銅牌區(qū)域', '銅牌分?jǐn)?shù)',
                                           '銀牌區(qū)域', '銀牌分?jǐn)?shù)', '金牌區(qū)域','金牌分?jǐn)?shù)'])
csv_writer.writeheader()

這段代碼打開(kāi)了一個(gè)名為 '最低戰(zhàn)力.csv' 的文件，并將其以追加模式打開(kāi)。它還指定了文件的編碼為 UTF-8 和行結(jié)束符為空字符串（newline=''）。

然后，代碼創(chuàng)建了一個(gè) csv.DictWriter 對(duì)象，并將其與文件對(duì)象關(guān)聯(lián)起來(lái)。fieldnames 參數(shù)指定了字典中的鍵和值的名稱。

接下來(lái)，代碼調(diào)用 writeheader() 方法來(lái)寫(xiě)入表頭。這個(gè)方法將字典中的鍵值對(duì)寫(xiě)入文件中，并將其作為表頭。

寫(xiě)入字典數(shù)值。