基于Python PaddleSpeech實現(xiàn)語音文字處理
更新時間：2022年01月06日 08:36:59 作者：劍客阿良_ALiang
PaddleSpeech基于飛槳PaddlePaddle的語音方向的開源模型庫，用于語音和音頻中的各種關(guān)鍵任務(wù)的開發(fā)，包含大量基于深度學(xué)習(xí)前沿和有影響力的模型。本文將介紹如何通過PaddleSpeech實現(xiàn)語音文字處理，感興趣的可以學(xué)習(xí)一下
前言
這段時間一直在研究飛漿平臺，最近試了試PaddleSpeech項目，試著對文本語音做處理。整體的效果個人覺著不算特別優(yōu)越，只能作為簡單的學(xué)習(xí)使用。
項目github地址：github倉庫
環(huán)境安裝
首先我們看一下項目結(jié)構(gòu)以及安裝文檔。
需要Python3.7以上、C++環(huán)境、requirements安裝等等，下面按照我的順序說一下。
1、conda安裝Python3.9虛擬環(huán)境
使用conda安裝python3.9環(huán)境，命令如下。
conda create -n py39 python=3.9
2、安裝Visual Studio 2019
安裝地址: Microsoft C++ 生成工具 - Visual Studio
注意安裝的時候需要勾選C++桌面開發(fā)。
3、安裝requirements.txt
使用命令安裝requiremets.txt，命令如下：
pip install -r requirements.txt -i https://pypi.douban.com/simple
這里要注意一下，paddlespeech_ctcdecoders安裝失敗的話無所謂，可以略掉。
4、安裝paddlepaddle和paddlespeech
命令如下：
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple
5、nltk_data下載
按照項目安裝文檔內(nèi)的說明。
我的本地目錄地址如下
項目驗證
我下面分別驗證一下tts、asr以及標(biāo)點恢復(fù)功能。
tts語音合成
使用命令如下：
paddlespeech tts --input "南京現(xiàn)在很冷，下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav
執(zhí)行過程
(dh_partner) D:\spyder\PaddleSpeech>paddlespeech tts --input "南京現(xiàn)在很冷，下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav phones_dict: None [2022-01-05 17:23:43,642] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4.zip md5 checking... [2022-01-05 17:23:44,742] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4 self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt [2022-01-05 17:23:44,743] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4 [2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\default.yaml [2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\snapshot_iter_76000.pdz self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt [2022-01-05 17:23:44,745] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4.zip md5 checking... [2022-01-05 17:23:44,782] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4 [2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4 [2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_default.yaml [2022-01-05 17:23:44,785] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_snapshot_iter_400000.pdz vocab_size: 268 frontend done! encoder_type is transformer decoder_type is transformer C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\framework\io.py:415: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' i s deprecated since Python 3.3, and in 3.10 it will stop working if isinstance(obj, collections.Iterable) and not isinstance(obj, ( acoustic model done! voc done! Building prefix dict from the default dictionary ... [2022-01-05 17:23:51] [DEBUG] [__init__.py:113] Building prefix dict from the default dictionary ... Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache [2022-01-05 17:23:51] [DEBUG] [__init__.py:132] Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache Loading model cost 0.659 seconds. [2022-01-05 17:23:52] [DEBUG] [__init__.py:164] Loading model cost 0.659 seconds. Prefix dict has been built successfully. [2022-01-05 17:23:52] [DEBUG] [__init__.py:166] Prefix dict has been built successfully. C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\fluid\dygraph\math_op_patch.py:251: UserWarning: The dtype of left and right variables are not the same, left dtype is padd le.int64, but right dtype is paddle.int32, the right dtype will convert to paddle.int64 warnings.warn( [2022-01-05 17:23:58,811] [ INFO] [log.py] [L57] - Wave file has been generated: C:\Users\xxx\Desktop\115.wav
生成的音頻如下
asr語音識別
我就使用了tts生成的音頻進(jìn)行asr識別，看看效果，命令如下:
paddlespeech asr --lang zh --input C:\Users\xxx\Desktop\115.wav
執(zhí)行結(jié)果如下
可以看到最后打印的內(nèi)容是沒有標(biāo)點的文字輸出，還是比較準(zhǔn)的。
標(biāo)點恢復(fù)
就用這句話試試標(biāo)點恢復(fù)的情況，命令如下：
paddlespeech text --task punc --input 南京現(xiàn)在很冷下次再去夫子廟吧
執(zhí)行結(jié)果
看起來語義上沒什么問題。
總結(jié)
我在前言中說效果不是很好的主要原因是因為速率比較慢，相比于類似阿里云提供的tts、asr接口來說，效率比較低。也可能和需要校驗?zāi)Ｐ褪欠翊嬖谶@些無關(guān)緊要的功能有關(guān)?？梢钥紤]研究代碼，自己重新封裝一些服務(wù)，效果應(yīng)該好的多。
到此這篇關(guān)于基于Python PaddleSpeech實現(xiàn)語音文字處理的文章就介紹到這了,更多相關(guān)Python PaddleSpeech語音文字處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python調(diào)用動態(tài)鏈接庫的基本過程詳解
這篇文章主要介紹了python調(diào)用動態(tài)鏈接庫的基本過程詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python for循環(huán)可以遍歷任何序列的項目，如一個列表或者一個字符串。這篇文章主要介紹了python的for循環(huán),需要的朋友可以參考下2018-09-09
在數(shù)據(jù)處理和分析中,插值法是一種常用的數(shù)值分析技術(shù),用于估計在已知數(shù)據(jù)點之間的值,本文將詳細(xì)介紹Python中插值法的實現(xiàn)方法,需要的可以參考下2024-02-02
這篇文章主要介紹了對Keras自帶Loss Function的深入研究，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
今天小編就為大家分享一篇關(guān)于Python中GeoJson和bokeh-1的使用講解，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
這篇文章主要為大家介紹了Pytorch+PyG實現(xiàn)GCN過程示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-04-04
這篇文章主要介紹了如何用python合并多個excel文件，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03
裝飾器在Python中扮演了重要的角色，文將深入探討裝飾器的所有相關(guān)主題，包括裝飾器的基礎(chǔ)知識、實現(xiàn)與使用、工作原理等，需要的可以參考一下2023-05-05
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)梯度下降和邏輯回歸，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-03-03
這篇文章主要介紹了Python如何對齊字符串，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07