欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實現自動識別并批量轉換文本文件編碼

 更新時間:2023年03月20日 09:18:34   作者:刻BITTER  
這篇文章主要為大家詳細介紹了如何利用Python實現自動識別并批量轉換文本文件編碼的功能,文中的示例代碼講解詳細,感興趣的小伙伴可以了解一下

如題,很簡單,就是先用chardet 庫識別文件編碼,解碼之后再輸出成目標編碼。算是個偶爾能用上的小工具,要用的時候萬一沒有就很難受的那種,比如,網上下載了別人的項目文件,一打開全是亂碼……

代碼

加了比較詳細的注釋~~ 看懂的要求應該不高,平時用過Python,知道幾個常用庫就行。

from pathlib import Path
import chardet
import re

def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
    ''' 轉換單個文件到目標編碼
    @param  f                   文件路徑
    @param  target_encoding     目標編碼,比如urf-8
    @param  dry_run             為True 時不實際修改源文件

    @return  返回三個值分別為(是否成功,估計的源文件編碼,估計的把握)
    '''
    target_encoding = target_encoding.lower()    # python 的標準編碼名稱都是小寫
    raw = f.read_bytes()
    result = chardet.detect(raw)
    encoding = result["encoding"].lower()     # chardet 估計出來的編碼名稱
    confidence = result["confidence"]    # 估計的把握
    flag = True

    # 下面的單次for 循環(huán)用來避免重復寫return 語句,break 后統(tǒng)一跳到最后return
    for _d( ̄_ ̄)b_ in (1,):
        if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
            # 目標編碼和源編碼相同時不用做處理。utf-8 編碼和ASCII 兼容,原編碼為ASCII 時轉換到utf-8 不會有變化,所以也跳過
            print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
            break

        try:
            text = raw.decode(encoding)
        except:
            print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
            flag = False
            break

        if dry_run:
            print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
        else:
            # 必須先用目標編碼轉換成字節(jié)數組,然后按字節(jié)寫入源文件
            # 如果按文本方式寫入,就會遇到喜聞樂見的CR LF 換行問題,
            # 源文件中的CR LF 換行會被自動變成CR CR LF,也就是多了一堆空行。
            out = text.encode(target_encoding)
            f.write_bytes(out)
            print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")

    return (flag, encoding, confidence)


def text_file_encoding_batch_convert(
    folder: Path,
    target_encoding: str,
    *,
    dry_run=True,
    recursive=False,
    pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
    skip_when_error=True,
):
    ''' 批量轉換一個目錄下文本文件的編碼
    @param  folder             目標目錄
    @param  target_encoding    目標編碼
    @param  dry_run            不實際修改源文件,避免手滑寫錯
    @param  recursive          包括所有子文件夾下的文件
    @param  pattern            基于文件名篩選文本文件的正則表達式,默認根據后綴篩選幾種文本類型
    @param  skip_when_error    默認True,單個文件轉換出錯時提示并跳過,否則終止
    '''
    if recursive:
        flist = folder.rglob("*")
    else:
        flist = folder.glob("*")

    p = re.compile(pattern)   # 把正則編譯了,之后應該能快一點
    for f in flist:
        if not (f.is_file() and p.match(f.name)):
            continue

        ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
        if not ok:
            if skip_when_error:
                print("!> SKIP.")
            else:
                print("!> ABORT.")
                return

用法

既然是批量轉換文件,只調用第二個函數就好了,如下:

folder = Path(r"D:\Downloads\Some shit\\")
text_file_encoding_batch_convert(folder, "utf-8", recursive=True)

目標目錄為D:\Downloads\Some shit\\,放進一個Path 對象里,作為第一個參數傳進去。第二個參數是目標編碼,第三個參數必須寫明參數名稱recursive,用來指定要不要遍歷子文件夾,默認是False,為了避免意外情況。直接這么運行的話,輸出的信息應該類似這樣:

-> [NO WET] main.c : gb2312 ⇒ utf-8

[NO WET] 意思就是DRY [doge],也就是沒有實際修改源文件,只是讓你大致看看輸出信息對不對勁,實際運行的話再加一個參數:

text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)

順便一說,輸出信息都是英文的,因為大伙應該都遇到過控制臺輸出中文亂碼的問題,反正也沒幾個單詞。剩下兩個參數,skip_when_error 放著別管就行,沒什么用;pattern 是匹配文件名的正則表達式,只有匹配的文件會被處理,可以自己設置;默認的正則只匹配了幾種容易遇到亂碼問題的文本文件,匹配的太多了也可能錯殺,需要的話往括號里加就行。

對了,上面的代碼和這篇文章一樣,使用 CC - BY SA 4.0 協(xié)議。

到此這篇關于Python實現自動識別并批量轉換文本文件編碼的文章就介紹到這了,更多相關Python轉換文本文件編碼內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • pytorch模型保存與加載中的一些問題實戰(zhàn)記錄

    pytorch模型保存與加載中的一些問題實戰(zhàn)記錄

    一般來說,保存模型是把參數全部用model.cpu().state_dict(),然后加載模型時一般用model.load_state_dict(torch.load(model_path)),下面這篇文章主要給大家介紹了關于pytorch模型保存與加載中的一些問題實戰(zhàn)記錄,需要的朋友可以參考下
    2022-10-10
  • python 中sys.getsizeof的用法說明

    python 中sys.getsizeof的用法說明

    這篇文章主要介紹了python 中sys.getsizeof的用法說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • Python Logging 日志記錄入門學習

    Python Logging 日志記錄入門學習

    這篇文章主要介紹了Python Logging 日志記錄入門學習,小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-06-06
  • python使用協(xié)程實現并發(fā)操作的方法詳解

    python使用協(xié)程實現并發(fā)操作的方法詳解

    這篇文章主要介紹了python使用協(xié)程實現并發(fā)操作的方法,結合實例形式詳細分析了Python協(xié)程的原理及使用Gevent實現協(xié)程操作的相關技巧與操作注意事項,需要的朋友可以參考下
    2019-12-12
  • numpy.std() 計算矩陣標準差的方法

    numpy.std() 計算矩陣標準差的方法

    今天小編就為大家分享一篇numpy.std() 計算矩陣標準差的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • Python語言實現機器學習的K-近鄰算法

    Python語言實現機器學習的K-近鄰算法

    今天學習的算法是KNN近鄰算法。KNN算法是一個監(jiān)督學習分類器類別的算法。下面我們來詳細的探討下
    2015-06-06
  • Python編寫繪圖系統(tǒng)之從文本文件導入數據并繪圖

    Python編寫繪圖系統(tǒng)之從文本文件導入數據并繪圖

    這篇文章主要為大家詳細介紹了Python如何編寫一個繪圖系統(tǒng),可以實現從文本文件導入數據并繪圖,文中的示例代碼講解詳細,感興趣的可以了解一下
    2023-08-08
  • django 連接數據庫出現1045錯誤的解決方式

    django 連接數據庫出現1045錯誤的解決方式

    這篇文章主要介紹了django 連接數據庫出現1045錯誤的解決方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-05-05
  • Python與C++中梯度方向直方圖的實現

    Python與C++中梯度方向直方圖的實現

    在學習HOG特征的時候,發(fā)現一片英文文章講得淺顯易懂。因此翻譯在這里學習,感興趣的朋友快來看看吧
    2022-03-03
  • python文件的讀取、寫入與刪除

    python文件的讀取、寫入與刪除

    文件是無處不在的,,無論我們使用哪種編程語言,處理文件對于每個程序員都是必不可少的,下面這篇文章主要給大家介紹了關于python文件的讀取、寫入與刪除的相關資料,文中通過實例代碼和圖文介紹的非常詳細,需要的朋友可以參考下
    2023-06-06

最新評論