python實(shí)現(xiàn)字符串加密 生成唯一固定長(zhǎng)度字符串
背景
有時(shí)候爬蟲爬過的url需要進(jìn)行指紋核對(duì)，比如Scrapy就是進(jìn)行指紋核對(duì)，如果是指紋重復(fù)則不再爬取。當(dāng)然在入庫(kù)的時(shí)候我還是需要做一次核對(duì)，否則如果爬蟲有漏掉，進(jìn)入數(shù)據(jù)庫(kù)就不合適了。
思路
根據(jù)Scrapy的指紋生成方式，這次的指紋生成方式也是用hash的MD5對(duì)目標(biāo)URL進(jìn)行加密，生成固定長(zhǎng)度的字符串，然后在數(shù)據(jù)庫(kù)里面將字段設(shè)置成unique，這樣的話在保證url固定長(zhǎng)度的情況下還能夠保證入庫(kù)后的唯一性，進(jìn)最大努力避免出現(xiàn)重復(fù)的數(shù)據(jù)。
指紋生成代碼
新建一個(gè)文件，然后在里面編寫指紋生成的方法，在使用的時(shí)候from import進(jìn)來，調(diào)用方法即可。代碼為：
import hashlib
def get_md5(url):
"""
由于hash不處理unicode編碼的字符串（python3默認(rèn)字符串是unicode）
所以這里判斷是否字符串，如果是則進(jìn)行轉(zhuǎn)碼
初始化md5、將url進(jìn)行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()
為了驗(yàn)證代碼的可用性，再加上代碼：
if __name__ == "__main__": urls = "http://www.baidus.com" print(get_md5(urls))
在本地運(yùn)行無誤，再把下面這串刪除。等到調(diào)用的時(shí)候from import get_md5把文件和方法引入，就可以使用了
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python 使用事件對(duì)象asyncio.Event來同步協(xié)程的操作
這篇文章主要介紹了python 使用事件對(duì)象asyncio.Event來同步協(xié)程的操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05
Opencv實(shí)現(xiàn)二維直方圖的計(jì)算及繪制
這篇博客將介紹如何使用Opencv進(jìn)行二維直方圖的計(jì)算及繪制，維直方圖可以讓我們對(duì)不同的像素密度有更好的了解，感興趣的可以了解一下2021-07-07
Python描述數(shù)據(jù)結(jié)構(gòu)學(xué)習(xí)之哈夫曼樹篇
這篇文章主要給大家介紹了關(guān)于Python描述數(shù)據(jù)結(jié)構(gòu)學(xué)習(xí)之哈夫曼樹篇的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
Pandas中map(),applymap(),apply()函數(shù)的使用方法
本文主要介紹了Pandas中map(),applymap(),apply()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Python實(shí)現(xiàn)Mysql數(shù)據(jù)庫(kù)連接池實(shí)例詳解
這篇文章主要介紹了Python實(shí)現(xiàn)Mysql數(shù)據(jù)庫(kù)連接池實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-04-04
python 表達(dá)式和語句及for、while循環(huán)練習(xí)實(shí)例
下面小編就為大家?guī)硪黄猵ython 表達(dá)式和語句及for、while循環(huán)練習(xí)實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-07-07
python中if的基礎(chǔ)用法(if?else和if?not)
if在Python中用作某個(gè)條件或值的判斷,下面這篇文章主要給大家介紹了關(guān)于python中if的基礎(chǔ)用法,主要包括if?else和if?not,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
這篇文章主要介紹了python刪除特定文件的方法,涉及Python文件查找及刪除的相關(guān)技巧,需要的朋友可以參考下2015-07-07
這篇文章主要介紹了Python閉包，所謂閉包就是用函數(shù)代替類，被外層函數(shù)包圍的內(nèi)層函數(shù)，它能夠獲取外層函數(shù)范圍中的變量，感興趣的小伙伴請(qǐng)和小編一起進(jìn)入文章學(xué)習(xí)具體內(nèi)容吧2021-12-12
VSCode2022配置Python3.9.6的詳細(xì)教程
這篇文章主要介紹了VSCode2022配置Python3.9.6教程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-09-09