欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實(shí)現(xiàn)自動(dòng)識(shí)別并批量轉(zhuǎn)換文本文件編碼

 更新時(shí)間:2023年03月20日 09:18:34   作者:刻BITTER  
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)自動(dòng)識(shí)別并批量轉(zhuǎn)換文本文件編碼的功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下

如題,很簡(jiǎn)單,就是先用chardet 庫(kù)識(shí)別文件編碼,解碼之后再輸出成目標(biāo)編碼。算是個(gè)偶爾能用上的小工具,要用的時(shí)候萬(wàn)一沒(méi)有就很難受的那種,比如,網(wǎng)上下載了別人的項(xiàng)目文件,一打開(kāi)全是亂碼……

代碼

加了比較詳細(xì)的注釋~~ 看懂的要求應(yīng)該不高,平時(shí)用過(guò)Python,知道幾個(gè)常用庫(kù)就行。

from pathlib import Path
import chardet
import re

def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
    ''' 轉(zhuǎn)換單個(gè)文件到目標(biāo)編碼
    @param  f                   文件路徑
    @param  target_encoding     目標(biāo)編碼,比如urf-8
    @param  dry_run             為T(mén)rue 時(shí)不實(shí)際修改源文件

    @return  返回三個(gè)值分別為(是否成功,估計(jì)的源文件編碼,估計(jì)的把握)
    '''
    target_encoding = target_encoding.lower()    # python 的標(biāo)準(zhǔn)編碼名稱(chēng)都是小寫(xiě)
    raw = f.read_bytes()
    result = chardet.detect(raw)
    encoding = result["encoding"].lower()     # chardet 估計(jì)出來(lái)的編碼名稱(chēng)
    confidence = result["confidence"]    # 估計(jì)的把握
    flag = True

    # 下面的單次for 循環(huán)用來(lái)避免重復(fù)寫(xiě)return 語(yǔ)句,break 后統(tǒng)一跳到最后return
    for _d( ̄_ ̄)b_ in (1,):
        if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
            # 目標(biāo)編碼和源編碼相同時(shí)不用做處理。utf-8 編碼和ASCII 兼容,原編碼為ASCII 時(shí)轉(zhuǎn)換到utf-8 不會(huì)有變化,所以也跳過(guò)
            print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
            break

        try:
            text = raw.decode(encoding)
        except:
            print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
            flag = False
            break

        if dry_run:
            print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
        else:
            # 必須先用目標(biāo)編碼轉(zhuǎn)換成字節(jié)數(shù)組,然后按字節(jié)寫(xiě)入源文件
            # 如果按文本方式寫(xiě)入,就會(huì)遇到喜聞樂(lè)見(jiàn)的CR LF 換行問(wèn)題,
            # 源文件中的CR LF 換行會(huì)被自動(dòng)變成CR CR LF,也就是多了一堆空行。
            out = text.encode(target_encoding)
            f.write_bytes(out)
            print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")

    return (flag, encoding, confidence)


def text_file_encoding_batch_convert(
    folder: Path,
    target_encoding: str,
    *,
    dry_run=True,
    recursive=False,
    pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
    skip_when_error=True,
):
    ''' 批量轉(zhuǎn)換一個(gè)目錄下文本文件的編碼
    @param  folder             目標(biāo)目錄
    @param  target_encoding    目標(biāo)編碼
    @param  dry_run            不實(shí)際修改源文件,避免手滑寫(xiě)錯(cuò)
    @param  recursive          包括所有子文件夾下的文件
    @param  pattern            基于文件名篩選文本文件的正則表達(dá)式,默認(rèn)根據(jù)后綴篩選幾種文本類(lèi)型
    @param  skip_when_error    默認(rèn)True,單個(gè)文件轉(zhuǎn)換出錯(cuò)時(shí)提示并跳過(guò),否則終止
    '''
    if recursive:
        flist = folder.rglob("*")
    else:
        flist = folder.glob("*")

    p = re.compile(pattern)   # 把正則編譯了,之后應(yīng)該能快一點(diǎn)
    for f in flist:
        if not (f.is_file() and p.match(f.name)):
            continue

        ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
        if not ok:
            if skip_when_error:
                print("!> SKIP.")
            else:
                print("!> ABORT.")
                return

用法

既然是批量轉(zhuǎn)換文件,只調(diào)用第二個(gè)函數(shù)就好了,如下:

folder = Path(r"D:\Downloads\Some shit\\")
text_file_encoding_batch_convert(folder, "utf-8", recursive=True)

目標(biāo)目錄為D:\Downloads\Some shit\\,放進(jìn)一個(gè)Path 對(duì)象里,作為第一個(gè)參數(shù)傳進(jìn)去。第二個(gè)參數(shù)是目標(biāo)編碼,第三個(gè)參數(shù)必須寫(xiě)明參數(shù)名稱(chēng)recursive,用來(lái)指定要不要遍歷子文件夾,默認(rèn)是False,為了避免意外情況。直接這么運(yùn)行的話,輸出的信息應(yīng)該類(lèi)似這樣:

-> [NO WET] main.c : gb2312 ⇒ utf-8

[NO WET] 意思就是DRY [doge],也就是沒(méi)有實(shí)際修改源文件,只是讓你大致看看輸出信息對(duì)不對(duì)勁,實(shí)際運(yùn)行的話再加一個(gè)參數(shù):

text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)

順便一說(shuō),輸出信息都是英文的,因?yàn)榇蠡飸?yīng)該都遇到過(guò)控制臺(tái)輸出中文亂碼的問(wèn)題,反正也沒(méi)幾個(gè)單詞。剩下兩個(gè)參數(shù),skip_when_error 放著別管就行,沒(méi)什么用;pattern 是匹配文件名的正則表達(dá)式,只有匹配的文件會(huì)被處理,可以自己設(shè)置;默認(rèn)的正則只匹配了幾種容易遇到亂碼問(wèn)題的文本文件,匹配的太多了也可能錯(cuò)殺,需要的話往括號(hào)里加就行。

對(duì)了,上面的代碼和這篇文章一樣,使用 CC - BY SA 4.0 協(xié)議。

到此這篇關(guān)于Python實(shí)現(xiàn)自動(dòng)識(shí)別并批量轉(zhuǎn)換文本文件編碼的文章就介紹到這了,更多相關(guān)Python轉(zhuǎn)換文本文件編碼內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • pytorch創(chuàng)建tensor函數(shù)詳情

    pytorch創(chuàng)建tensor函數(shù)詳情

    這篇文章主要介紹了pytorch創(chuàng)建tensor函數(shù)詳情,文章圍繞tensor函數(shù)的相關(guān)自來(lái)哦展開(kāi)詳細(xì)內(nèi)容的介紹,需要的小伙伴可以參考一下,希望對(duì)你有所幫助
    2022-03-03
  • python實(shí)戰(zhàn)scrapy操作cookie爬取博客涉及browsercookie

    python實(shí)戰(zhàn)scrapy操作cookie爬取博客涉及browsercookie

    這篇文章主要為大家介紹了python實(shí)戰(zhàn)scrapy操作cookie爬取博客涉及browsercookie,下面來(lái)學(xué)習(xí)一下 scrapy 操作 Cookie來(lái)爬取博客吧
    2021-11-11
  • python 根據(jù)pid殺死相應(yīng)進(jìn)程的方法

    python 根據(jù)pid殺死相應(yīng)進(jìn)程的方法

    下面小編就為大家?guī)?lái)一篇python 根據(jù)pid殺死相應(yīng)進(jìn)程的方法。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2017-01-01
  • 用openCV和Python 實(shí)現(xiàn)圖片對(duì)比,并標(biāo)識(shí)出不同點(diǎn)的方式

    用openCV和Python 實(shí)現(xiàn)圖片對(duì)比,并標(biāo)識(shí)出不同點(diǎn)的方式

    今天小編就為大家分享一篇用openCV和Python 實(shí)現(xiàn)圖片對(duì)比,并標(biāo)識(shí)出不同點(diǎn)的方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-12-12
  • Python實(shí)現(xiàn)TCP協(xié)議下的端口映射功能的腳本程序示例

    Python實(shí)現(xiàn)TCP協(xié)議下的端口映射功能的腳本程序示例

    端口映射一個(gè)最基本的運(yùn)作形態(tài)就是通過(guò)一個(gè)中間端口將一個(gè)端口發(fā)送的數(shù)據(jù)全部轉(zhuǎn)給另一個(gè)端口,well,這里我們就來(lái)看一下Python實(shí)現(xiàn)TCP協(xié)議下的端口映射功能的腳本程序示例
    2016-06-06
  • 用Python 執(zhí)行cmd命令

    用Python 執(zhí)行cmd命令

    這篇文章主要介紹了用Python 執(zhí)行cmd命令的方法,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-12-12
  • 詳解OpenCV和PIL讀取和顯示圖像的差異

    詳解OpenCV和PIL讀取和顯示圖像的差異

    這篇文章主要介紹了OpenCV和PIL讀取和顯示圖像的差異,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-04-04
  • pandas實(shí)現(xiàn)datetime64與unix時(shí)間戳互轉(zhuǎn)

    pandas實(shí)現(xiàn)datetime64與unix時(shí)間戳互轉(zhuǎn)

    這篇文章主要介紹了pandas實(shí)現(xiàn)datetime64與unix時(shí)間戳互轉(zhuǎn),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • Python列表中存放字典遇到的問(wèn)題及處理

    Python列表中存放字典遇到的問(wèn)題及處理

    這篇文章主要介紹了Python列表中存放字典遇到的問(wèn)題及處理,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • python?import?logging問(wèn)題

    python?import?logging問(wèn)題

    這篇文章主要介紹了python?import?logging問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-06-06

最新評(píng)論