盤點Python?爬蟲中的常見加密算法
前言
今天小編就帶著大家來盤點一下數(shù)據(jù)抓取過程中這些主流的加密算法,它們有什么特征、加密的方式有哪些等等,知道了這些之后對于我們逆向破解這些加密的參數(shù)會起到不少的幫助!
相信大家在數(shù)據(jù)抓取的時候,會碰到很多加密的參數(shù),例如像是"token"、"sign"等等,今天小編就帶著大家來盤點一下數(shù)據(jù)抓取過程中這些主流的加密算法,它們有什么特征、加密的方式有哪些等等,知道了這些之后對于我們逆向破解這些加密的參數(shù)會起到不少的幫助!
1. 基礎(chǔ)常識
首先我們需要明白的是,什么是加密和解密?顧名思義
- 加密(Encryption): 將明文數(shù)據(jù)變換為密文的過程
- 解密(Decryption): 加密的逆過程,即由密文恢復出原明文的過程。
加密和解密算法的操作通常都是在一組密鑰的控制下進行的,分別成為是加密密鑰(Encryption Key)和解密密鑰(Decryption Key),
如下圖所示:
而加密算法當中又分為是對稱加密和非對稱加密以及散列算法,其中
- 對稱加密:即加密與解密時使用的是相同的密鑰,例如RC4、AES、DES等加密算法
- 非對稱加密:即加密與解密時使用不相同的密鑰,例如RSA加密算法等
- 散列算法:又稱為是哈希函數(shù)。對不同長度的輸入消息產(chǎn)生固定的輸出,該輸出值就是散列值
2. Base64偽加密
Base64嚴格意義上來說不算做事加密的算法,只是一種編碼的方式,它是一種用64個字符,分別是A-Z、a-z、0-9、+、/這64個字符,實現(xiàn)對數(shù)據(jù)的編碼,可用于在HTTP環(huán)境下傳遞較長的標識信息。采用Base64編碼具有不可讀性,需要解碼后才能閱讀。我們使用Python來對任意網(wǎng)址進行Base64的編碼操作,代碼如下:
import base64 # 想將字符串轉(zhuǎn)編碼成base64,要先將字符串轉(zhuǎn)換成二進制數(shù)據(jù) url = "www.baidu.com" bytes_url = url.encode("utf-8") str_url = base64.b64encode(bytes_url) # 被編碼的參數(shù)必須是二進制數(shù)據(jù) print(str_url)
輸出:
b'd3d3LmJhaWR1LmNvbQ=='
那么同樣地,我們也可以對其進行解碼的操作,代碼如下:
url = "d3d3LmJhaWR1LmNvbQ==" str_url = base64.b64decode(url).decode("utf-8") print(str_url)
輸出:
www.baidu.com
3. MD5加密
MD5是一種被廣泛使用的線性散列算法,且加密之后產(chǎn)生的是一個固定長度(32位或者是16位)的數(shù)據(jù),由字母和數(shù)字組成,大小寫統(tǒng)一。其最后加密生成的數(shù)據(jù)是不可逆的,也就是說不能夠輕易地通過加密后的數(shù)據(jù)還原到原始的字符串,除非是通過暴力破解的方式。
我們在Python當中來實現(xiàn)一下MD5加密:
import hashlib str = 'this is a md5 demo.' hl = hashlib.md5() hl.update(str.encode(encoding='utf-8')) print('MD5加密前為 :' + str) print('MD5加密后為 :' + hl.hexdigest())
輸出:
MD5加密前為 :this is a md5 demo.
MD5加密后為 :b2caf2a298a9254b38a2e33b75cfbe75
就像上文提到的,針對MD5加密可以通過暴力破解的方式來降低其安全性,因此在實操過程當中,我們會添加鹽值(Salt)或者是雙重MD5加密等方式來增加其可靠性,代碼如下:
# post傳入的參數(shù) params = "123456" # 加密后需拼接的鹽值(Salt) salt = "asdfkjalksdncxvm" def md5_encrypt(): m = md5() m.update(params.encode('utf8')) sign1 = m.hexdigest() return sign1 def md5_encrypt_with_salt(): m = md5() m.update((md5_encrypt() + salt).encode('utf8')) sign2 = m.hexdigest() return sign2
4. AES/DES對稱加密
首先我們來講DES加密,全稱是Data Encryption Standard,即數(shù)據(jù)加密標準,在對稱性加密當中比較常見的一種,也就是加密和解密過程當中使用的密鑰是相同的,因此想要破解的話,通過暴力枚舉的方式,只要計算的能力足夠強還是可以被破解的。
AES的全稱是Advanced Encryption Standard,是DES算法的替代者,也是當今最流行的對稱加密算法之一。想要弄清楚AES算法,首先就得弄明白三個基本的概念:密鑰、填充和模式。
密鑰
密鑰我們之前已經(jīng)說了很多了,大家可以將其想象成是一把鑰匙,既可以用其來進行上鎖,可以用其來進行解鎖。AES支持三種長度的密鑰:128位、192位以及256位。
填充
而至于填充這一概念,AES的分組加密的特性我們需要了解,具體如下圖所示:
簡單來說,AES算法在對明文加密的時候,并不是把整個明文一股腦兒地加密成一整段密文,而是把明文拆分成一個個獨立的明文塊,每一個明文塊的長度為128比特。
這些明文塊經(jīng)過AES加密器的復雜處理之后,生成一個個獨立的密文塊,將這些密文塊拼接到一起就是最終的AES加密的結(jié)果了。
那么這里就有一個問題了,要是有一段明文的長度是196比特,如果按照每128比特一個明文塊來拆分的話,第二個明文塊只有64比特了,不足128比特該怎么辦呢?這個時候就輪到填充來發(fā)揮作用了,默認的填充方式是PKCS5Padding以及ISO10126Padding。
不過在AES加密的時候使用了某一種填充方式,解密的時候也必須采用同樣的填充方式。
模式
AES的工作模式,體現(xiàn)在了把明文塊加密成密文塊的處理過程中,主要有五種不同的工作模式,分別是CBC、ECB、CTR、CFB以及OFB模式,同樣地,如果在AES加密過程當中使用了某一種工作模式,解密的時候也必須采用同樣地工作模式。最后我們用Python來實現(xiàn)一下AES加密。
import base64 from Crypto.Cipher import AES def AES_encrypt(text, key): pad = 16 - len(text) % 16 text = text + pad * chr(pad) text = text.encode("utf-8") encryptor = AES.new(key.encode('utf-8'), AES.MODE_ECB) encrypt_text = encryptor.encrypt(text) encrypt_text = base64.b64encode(encrypt_text) return encrypt_text.decode('utf-8')
到此這篇關(guān)于盤點Python 爬蟲中的常見加密算法的文章就介紹到這了,更多相關(guān)Python 加密算法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Python爬蟲程序中使用生產(chǎn)者與消費者模式時進程過早退出的問題
- Python爬蟲庫urllib的使用教程詳解
- Python利用yield?form實現(xiàn)異步協(xié)程爬蟲
- python爬蟲之requests庫使用代理方式
- python?基于aiohttp的異步爬蟲實戰(zhàn)詳解
- Python爬蟲框架NewSpaper使用詳解
- 通過python爬蟲mechanize庫爬取本機ip地址的方法
- Python爬蟲學習之requests的使用教程
- python爬蟲beautiful?soup的使用方式
- Python爬蟲之超級鷹驗證碼應用
- Python爬蟲Requests庫的使用詳情
- python爬蟲模擬登錄之圖片驗證碼實現(xiàn)詳解
- Python爬蟲eval實現(xiàn)看漫畫漫畫柜mhgui實戰(zhàn)分析
- python爬蟲實戰(zhàn)項目之爬取pixiv圖片
- 使用python爬蟲實現(xiàn)子域名探測問題
- python爬蟲之代理ip正確使用方法實例
- Python爬蟲Xpath定位數(shù)據(jù)的兩種方法
- Python7個爬蟲小案例詳解(附源碼)上篇
相關(guān)文章
pandas實現(xiàn)導出數(shù)據(jù)的四種方式
這篇文章主要介紹了pandas實現(xiàn)導出數(shù)據(jù)的四種方式,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-12-12Python實現(xiàn)連接兩個無規(guī)則列表后刪除重復元素并升序排序的方法
這篇文章主要介紹了Python實現(xiàn)連接兩個無規(guī)則列表后刪除重復元素并升序排序的方法,涉及Python針對列表的合并、遍歷、判斷、追加、排序等操作技巧,需要的朋友可以參考下2018-02-02Python和JavaScript間代碼轉(zhuǎn)換的4個工具
JavaScript 已經(jīng)成為眾多其它編程語言爭相選擇的轉(zhuǎn)換目標(相關(guān)實例包括 TypeScript、Emscripten、Cor 以及 Cheerp)。而 Python 則擁有龐大的追隨者群體,另外現(xiàn)有的強大庫資源則使其成為面向 JavaScript 的理想待轉(zhuǎn)換或者說轉(zhuǎn)譯選項2016-02-02python 文件轉(zhuǎn)成16進制數(shù)組的實例
今天小編就為大家分享一篇python 文件轉(zhuǎn)成16進制數(shù)組的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07python+tkinter實現(xiàn)學生管理系統(tǒng)
這篇文章主要為大家詳細介紹了python+tkinter實現(xiàn)學生管理系統(tǒng),具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-08-08