1 引言

數(shù)月前寫過某網(wǎng)站（請原諒我的掩耳盜鈴）的爬蟲，這兩天需要重新采集一次，用的是scrapy-redis框架，本以為二次爬取可以輕松完成的，可沒想到爬蟲啟動沒幾秒，出現(xiàn)了大堆的重試提示，心里頓時就咯噔一下，悠閑時光估計要結(jié)束了。
仔細(xì)分析后，發(fā)現(xiàn)是獲取店鋪列表的請求出現(xiàn)問題，通過瀏覽器抓包，發(fā)現(xiàn)請求頭參數(shù)中相比之前多了一個X-Shard和x-uab參數(shù)，如下圖所示：

X-Shard倒是沒什么問題，一看就是興趣點的經(jīng)緯度，但x-uab看過之后就讓人心里苦了，js加密啊，只能去逆向解密了。

2 js逆向求解

最直接的思路是根據(jù)“x-uab”關(guān)鍵字在所有關(guān)鍵中查找（chrome瀏覽器-source中按ctrl + shift + F快捷鍵），結(jié)果如下所示：

接下來，打個斷點調(diào)試一下：在數(shù)字那里點一下，數(shù)字位置出現(xiàn)藍(lán)點，表示添加斷點成功，然后刷新獲取店鋪列表的頁面，程序會在斷點處停下。如下所示：

在控制臺調(diào)試o.getUA()函數(shù)，看一下輸出：

果然是，證明猜測沒錯，就是這個o.getUA()函數(shù)負(fù)責(zé)生成請求頭中的x-uab參數(shù)。
繼續(xù)向下查看這個getUA()函數(shù)的引用（把光標(biāo)放在要查看的函數(shù)上，就可以查看這個函數(shù)的引用），就是下圖這個函數(shù)：

圖中的s就是我們要的x-uab參數(shù)，下圖在控制臺輸出可以證明：

所以，u-xab是這里的e生成的，而函數(shù)e傳入的參數(shù)中，第一個是常量2，第二個參數(shù)a是undefined，呵，看起來沒有傳其它參數(shù)。繼續(xù)向下找這個e(2,a)函數(shù)：

就是這個function e(r, i, n, h, p) 方法，直接運(yùn)行可以獲取加密后的參數(shù)。把這個function e(r, i, n, h, p) 方法全部代碼取出來，另存為一個js文件。

回到頂部

3 擼代碼

3.1 方案一

你以為上面找出生成x-uab的js代碼，就大功告成了嗎？少年，you are too young too simple！
怎么把這段js腳本運(yùn)行起來，才是關(guān)（nan）鍵（dian）。
這個function e(r, i, n, h, p) 函數(shù)有近4萬行代碼，重新用Python實現(xiàn)難（jiu）度（shi）有（bu）點（ke）大（neng）。所以，我選擇直接用Python來執(zhí)行這段js腳本。
怎么用python執(zhí)行js腳本，度娘會給你一堆資料，自己查吧。我這里選擇的是execjs。
因為在上面復(fù)制出來的腳本中，只單單定義了一個e(r, i, n, h, p)方法，并沒有調(diào)用這個方法，所以，我要要在js文件的末尾添加一些代碼來調(diào)用：

function getParam() {
 var a;
 var param = e(2,a);
 return param
};

然后，開始擼Python代碼吧：

import execjs
 
node = execjs.get()
file = 'eleme.js'
ctx = node.compile(open(file).read())
js_encode = 'getParam()'
params = ctx.eval(js_encode)
print(params)

嘗試執(zhí)行，心涼，代碼異常：

execjs._exceptions.ProgramError: TypeError: 'window' 未定義

window對象估計是瀏覽器打開是創(chuàng)建的，蘊(yùn)含瀏覽器的信息，所以用Python來執(zhí)行這段代碼時，沒有這個對西鄉(xiāng)。本來想嘗試偽造window對象，但查找之后發(fā)現(xiàn)js腳本中上百個地方用到window，這還沒完，代碼經(jīng)過混淆，在下水平不夠，沒法追根溯源（這地方困擾了我許久，哪位前輩如果知道方法，請告知）。
后來，從一個前輩那里（感謝前輩）獲知一個方法繞過去。這個前輩的方法是將execjs的引擎換成PhantomJS這個無頭瀏覽器（之前用的引擎是node.js），換句話說就是用PhantomJS來執(zhí)行js腳本，PhantomJS是一個瀏覽器，自然就會創(chuàng)建window對象。

使用PhantomJS之前，需要下載它的驅(qū)動，然后放下Python代碼統(tǒng)一目錄下。對之前的Python代碼也進(jìn)行修改：

import execjs
 
import os
os.environ["EXECJS_RUNTIME"] = "PhantomJS"
node = execjs.get()
file = 'eleme.js'
ctx = node.compile(open(file).read())
js_encode = 'getParam()'
params = ctx.eval(js_encode)
print(params)

果然，按照這個方法，成功獲取加密字符串。

3.2 方案二

事實上，這個方案二才是我在出現(xiàn)未定義window對象異常后首先嘗試的方法，不過因為往js代碼中添加的js腳本有問題，以為行不通，所以請教前輩，得到了方案一。

方案二的思路和方案一類似，不過更加粗暴一些。不是因為沒在瀏覽器執(zhí)行，造成沒有window對象嗎？那我就模擬瀏覽器來執(zhí)行。

在執(zhí)行之前，同樣要修改js腳本，在js文件末尾調(diào)用e方法，添加如下代碼：

var a;
var param = e(2,a);
return param;

切記：不要放在任何函數(shù)里面，我之前就是因為將這段代碼放在函數(shù)里頭強(qiáng)制執(zhí)行，導(dǎo)致的結(jié)果就是在瀏覽器里可以獲取加密字符串，但是在Python中獲取到的卻是None。

模擬瀏覽器用的selenium和chrome的webDriver，代碼如下：

from selenium import webdriver
 
browser = webdriver.Chrome(executable_path='chromedriver.exe')
with open('eleme.js', 'r') as f:
 js = f.read()
print(browser.execute_script(js))

這個方法也是可以獲得加密之后的字符串。

最后，有必要說一下的是，如果需要獲取大量的x-uab，采用方案二效率會高一下，因為采用方案二的話，可以自打開一個瀏覽器（都調(diào)用一個webdriver對象），然后快速執(zhí)行js，返回加密字符串。

4 總結(jié)

一次js逆向解密，算是完成了吧。但是也留下了一些問題：

（1）使用chrome斷點調(diào)試時，js腳本都是壓縮混淆之后的，通過chrome的pretty print功能（也就是說那對花括號）可以格式美化，但是，有的時候卻會失敗，就像下圖，格式化后，還是一團(tuán)糟：

這個問題耽擱了我很長時間，沒法調(diào)試?。?br />

（2）在下js基礎(chǔ)不行，很困惑為什么運(yùn)行時，先通過o.getUA()調(diào)用e函數(shù)內(nèi)的嵌套函數(shù)，然后e函數(shù)內(nèi)部嵌套函數(shù)中調(diào)用e方法本身，這是什么操作？函數(shù)調(diào)用不都應(yīng)該先外層函數(shù)，然后再調(diào)用嵌套函數(shù)嗎？

（3）如果不適用瀏覽器執(zhí)行js的方法，就只能替換window對象，這該如何操作？

（4）這個e函數(shù)有近4萬行，一個加密函數(shù)這么多代碼，我可不信，里面肯定很多事混淆視聽用的，但我嘗試調(diào)試追蹤過，只能說混淆之后讓我無從追蹤，頭暈。怎么才能簡化這段腳本呢？

如果哪位前輩可以解惑，請一定告知，不勝感激！拜謝！

最新評論