python批量翻譯excel表格中的英文
需求背景
女朋友的論文需要爬取YouTube視頻熱評,但爬下來的都是外文。
主要設(shè)計(jì)
- 讀取一個(gè)表格文件,獲取需要翻譯的文本
- 使用百度翻譯 API 進(jìn)行翻譯,獲取翻譯結(jié)果
- 將翻譯結(jié)果保存到原表格中,然后提取需要的列組成一個(gè)新的 DataFrame
- 處理多個(gè)表格文件,將它們的翻譯結(jié)果分別保存
- 使用線程池加速翻譯過程,可以同時(shí)翻譯多個(gè)表格
- 顯示進(jìn)度條
分析
- 目標(biāo)文件為xlsx格式,可以借助pandas進(jìn)行讀取文件和生成文件的操作。在這里我的源文件有若干列,其中第2列評論內(nèi)容為我的目標(biāo)列。
- 在這里我用的是百度翻譯api接口。也可以googletrans、translate,這些庫可以在本地使用,不需要申請API密鑰,但是翻譯質(zhì)量和速度可能不如云服務(wù)。
- 由于我每個(gè)表格有2000行數(shù)據(jù),總共有10個(gè)表格,一個(gè)個(gè)來的話不僅麻煩效率還低。
- 我需要知道任務(wù)的進(jìn)度,不想一直等下去
具體實(shí)現(xiàn)
表格操作
def TranslateTable(sInputFilename, sOutputFilename):
# 讀取表格A并選擇需要翻譯的列
df_a = pd.read_excel(sInputFilename) # 獲取df對象
df_a = df_a.iloc[:, [1, 2]] # iloc和loc很像,i=index,
# 翻譯英文列
df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
# 創(chuàng)建表格B并保存
df_b = pd.DataFrame({
'原文': df_a.iloc[:, 0],
'譯文': df_a.iloc[:, 2]
})
df_b.to_excel(sOutputFilename, index=False)請求百度翻譯api
def Translate(sText, from_lang='en', to_lang='zh'):
appid = 'xxxxxx'
secret_key = 'xxxxxx'
url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
salt = random.randint(32768, 65536)
sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
params = {
'q': sText,
'from': from_lang,
'to': to_lang,
'appid': appid,
'salt': salt,
'sign': sign
}
response = requests.get(url, params=params)
result = json.loads(response.content.decode())
if result.get('error_code') is not None:
return None
return result['trans_result'][0]['dst']多線程
使用concurrent.futures庫中的 ThreadPoolExecutor類來實(shí)現(xiàn)多線程處理。
- 創(chuàng)建一個(gè) ThreadPoolExecutor對象。
- 在循環(huán)中遍歷每個(gè)表格A,并使用 submit方法向線程池提交任務(wù)。 submit方法將表格A的文件名和表格B的文件名作為參數(shù)傳遞給 translate_column函數(shù),該函數(shù)將在單獨(dú)的線程中執(zhí)行。
ThreadPoolExecutor會(huì)自動(dòng)管理線程池的大小,并在有空閑線程時(shí)分配新任務(wù)。這種方式可以利用多個(gè)CPU核心來并行處理多個(gè)表格,提高處理速度。
def TranslateTables(sInputFolder, sOutputFolder):
sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
with ThreadPoolExecutor() as executor:
lstFutures = []
for sInputFilename in sInputFilenames:
sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻譯結(jié)果.xlsx')
lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
pass控制臺(tái)顯示進(jìn)度
使用 concurrent.futures.as_completed 函數(shù)顯示進(jìn)度條。
完整源碼
# -*- coding: utf-8 -*-
# time: 2022/2/17 03:06
# file: test.py
# author: Shi Yasong
"""
主要功能功能:
? ? 1、讀取一個(gè)表格文件,獲取需要翻譯的文本。
? ? 2、使用百度翻譯 API 進(jìn)行翻譯,獲取翻譯結(jié)果。
? ? 3、將翻譯結(jié)果保存到原表格中,然后提取需要的列組成一個(gè)新的 DataFrame。
? ? 4、處理多個(gè)表格文件,將它們的翻譯結(jié)果合并到一個(gè) DataFrame 中,然后分別保存。
? ? 5、使用線程池加速翻譯過程,可以同時(shí)翻譯多個(gè)表格
? ? 6、使用 ?concurrent.futures.as_completed 函數(shù)顯示進(jìn)度條。
"""
from concurrent.futures import ThreadPoolExecutor, as_completed
from tqdm import tqdm ?# 進(jìn)度條庫,需要先安裝
import pandas as pd
import requests
import json
import os
import hashlib
import random
def Translate(sText, from_lang='en', to_lang='zh'):
? ? appid = 'xxxx'
? ? secret_key = 'xxxxx'
? ? url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
? ? salt = random.randint(32768, 65536)
? ? sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
? ? params = {
? ? ? ? 'q': sText,
? ? ? ? 'from': from_lang,
? ? ? ? 'to': to_lang,
? ? ? ? 'appid': appid,
? ? ? ? 'salt': salt,
? ? ? ? 'sign': sign
? ? }
? ? response = requests.get(url, params=params)
? ? result = json.loads(response.content.decode())
? ? if result.get('error_code') is not None:
? ? ? ? return None
? ? return result['trans_result'][0]['dst']
def TranslateTable(sInputFilename, sOutputFilename):
? ? # 讀取表格A并選擇需要翻譯的列
? ? df_a = pd.read_excel(sInputFilename) # 獲取df對象
? ? df_a = df_a.iloc[:, [1, 2]] ?# iloc和loc很像,i=index,
? ? # 翻譯英文列
? ? df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
? ? # 創(chuàng)建表格B并保存
? ? df_b = pd.DataFrame({
? ? ? ? '原文': df_a.iloc[:, 0],
? ? ? ? '譯文': df_a.iloc[:, 2]
? ? })
? ? df_b.to_excel(sOutputFilename, index=False)
def TranslateTables(sInputFolder, sOutputFolder):
? ? sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
? ? with ThreadPoolExecutor() as executor:
? ? ? ? lstFutures = []
? ? ? ? for sInputFilename in sInputFilenames:
? ? ? ? ? ? sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
? ? ? ? ? ? sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻譯結(jié)果.xlsx')
? ? ? ? ? ? lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
? ? ? ? for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
? ? ? ? ? ? pass
# 調(diào)用函數(shù)翻譯多個(gè)表格
sInputFolder = r'C:\Users\lenovo\Desktop\english' ?# 修改為實(shí)際的表格文件夾路徑
sOutputFolder = r'C:\Users\lenovo\Desktop\zh' ?# 修改為實(shí)際的表格文件夾路徑
TranslateTables(sInputFolder, sOutputFolder)到此這篇關(guān)于python批量翻譯excel表格中的英文的文章就介紹到這了,更多相關(guān)python批量翻譯內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python找出列表中出現(xiàn)次數(shù)最多的元素三種方式
本文通過三種方式給大家介紹Python找出列表中出現(xiàn)次數(shù)最多的元素,每種方式通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友參考下2020-02-02
Python中subprocess模塊用法實(shí)例詳解
這篇文章主要介紹了Python中subprocess模塊用法,實(shí)例分析了subprocess模塊的相關(guān)使用技巧,需要的朋友可以參考下2015-05-05
python 自定義異常和主動(dòng)拋出異常(raise)的操作
這篇文章主要介紹了python 自定義異常和主動(dòng)拋出異常(raise)的操作,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12
Python+Selenium定位不到元素常見原因及解決辦法(報(bào):NoSuchElementException)
這篇文章主要介紹了Python+Selenium定位不到元素常見原因及解決辦法(報(bào):NoSuchElementException),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
Python實(shí)現(xiàn)的文本簡單可逆加密算法示例
這篇文章主要介紹了Python實(shí)現(xiàn)的文本簡單可逆加密算法,結(jié)合完整實(shí)例形式分析了Python自定義加密與解密算法具體實(shí)現(xiàn)與使用技巧,需要的朋友可以參考下2017-05-05
Python中str is not callable問題詳解及解決辦法
這篇文章主要介紹了Python中str is not callable問題詳解及解決辦法的相關(guān)資料,需要的朋友可以參考下2017-02-02

