Python爬蟲實(shí)戰(zhàn)JS逆向AES逆向加密爬取
爬取目標(biāo)
網(wǎng)址：監(jiān)管平臺(tái)
工具使用
開發(fā)工具：pycharm
開發(fā)環(huán)境：python3.7， Windows10
使用工具包：requests，AES，json
涉及AES對(duì)稱加密問題 需要 安裝node.js環(huán)境
使用npm install 安裝 crypto-js
項(xiàng)目思路解析
確定數(shù)據(jù) 在這個(gè)網(wǎng)頁可以看到數(shù)據(jù)是動(dòng)態(tài)返回的 但是 都是加密的 如何確定是我們需要的?
突然想到 如果我分頁 是不是會(huì)直接加載第二個(gè)頁面 然后查看相似度 找到第一個(gè)頁面, 我真是太聰明了
數(shù)據(jù)找到了 現(xiàn)在開始尋找加密 但是突然發(fā)現(xiàn)沒有 加密的關(guān)鍵字? 那我們通過url 下手試試 在All里面全局 搜索 query/comp/list(url后面的參數(shù))
找到這個(gè)接口 鼠標(biāo)右鍵 可以在源代碼查看他
慢慢調(diào)試 中間調(diào)試太多了 我就不一一截圖出來了 跑到這里 發(fā)現(xiàn)data 里面的參數(shù) 和我們看到的加密一致
h(t.data) 加密位置
進(jìn)去h里面 (鼠標(biāo)光標(biāo)放到 h上面 會(huì)顯示他的 js地址 如果沒有顯示 就是證明你還沒有執(zhí)行到這里 需要在前面打上斷點(diǎn) 刷新頁面調(diào)試)
發(fā)現(xiàn)這個(gè)采用AES加密算法 使用模型CBC模式 采用填充方式為 Pkcs7
AES.decrypt() # 參數(shù)說明 秘鑰 模式 偏移值
f = 'jo8j9wGw%6HbxfFn' # 秘鑰
m = '0123456789ABCDEF' # 偏移值
證明數(shù)據(jù)推導(dǎo)正確 在 return r.toString() 打上斷點(diǎn)
r里面數(shù)據(jù)正常返回
簡(jiǎn)易源碼分享
import requests
from Crypto.Cipher import AES
import json
url = 'http://jzsc.mohurd.gov.cn/api/webApi/dataservice/query/comp/list?pg=2&pgsz=15&total=0'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36 Edg/93.0.961.38'
}
response = requests.get(url, headers=headers).text
f = 'jo8j9wGw%6HbxfFn' # 秘鑰
m = '0123456789ABCDEF' # 偏移值
# 轉(zhuǎn)碼 utf-8? 字節(jié) 16進(jìn)制
m = bytes(m, encoding='utf-8')
f = bytes(f, encoding='utf-8')
# 創(chuàng)建一個(gè)AES算法 秘鑰 模式 偏移值
cipher = AES.new(f, AES.MODE_CBC, m)
# 解密
decrypt_content = cipher.decrypt(bytes.fromhex(response))
result = str(decrypt_content, encoding='utf-8')
# OKCS7 填充
length = len(result) # 字符串長(zhǎng)度
unpadding = ord(result[length - 1]) # 得到最后一個(gè)字符串的ASCII
result = result[0:length - unpadding]
result = json.loads(result)['data']['list'] # dupms json.dumps() dict 格式 json的
# {"鍵":"值"}
for i in result:
print(i)
以上就是Python爬蟲實(shí)戰(zhàn)JS逆向AES逆向加密爬取的詳細(xì)內(nèi)容，更多關(guān)于Python爬取JS逆向AES逆向加密的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
如何用python?GUI(tkinter)寫一個(gè)鬧鈴小程序(思路詳解)
這篇文章主要介紹了用python?GUI(tkinter)寫一個(gè)鬧鈴小程序思路詳解，涉及到tkinter一些函數(shù)控件，數(shù)據(jù)的類的封裝，本文通過實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2021-12-12
這篇文章主要介紹了Pytest框架之fixture的詳細(xì)使用教程，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了如何使用python操作vmware,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Python單元測(cè)試,結(jié)合實(shí)例形式分析了Python單元測(cè)試的簡(jiǎn)單定義、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2018-07-07
Python構(gòu)建一個(gè)文檔掃描器的實(shí)現(xiàn)
本文主要介紹了Python構(gòu)建一個(gè)文檔掃描器的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
基于Python的身份證號(hào)碼自動(dòng)生成程序
今天收到一個(gè)小需求：需要一個(gè)自動(dòng)生成身份證號(hào)碼的小程序。近期用python較多，因此打算用python實(shí)現(xiàn)2014-08-08
python切片復(fù)制列表的知識(shí)點(diǎn)詳解
在本篇文章里小編給大家整理的是一篇關(guān)于python切片復(fù)制列表的知識(shí)點(diǎn)相關(guān)內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)下。2021-10-10
python實(shí)現(xiàn)Scrapy爬取網(wǎng)易新聞
這篇文章主要介紹了python實(shí)現(xiàn)Scrapy爬取網(wǎng)易新聞，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
PyTorch實(shí)現(xiàn)更新部分網(wǎng)絡(luò),其他不更新
今天小編就為大家分享一篇PyTorch實(shí)現(xiàn)更新部分網(wǎng)絡(luò),其他不更新，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)二維插值的三維顯示，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-12-12