Android音頻編輯之音頻合成功能
前言
音頻編輯系列:
- android音頻編輯之音頻轉(zhuǎn)換PCM與WAV
-android音頻編輯之音頻裁剪
- android音頻編輯之音頻合成
本篇主要講解音頻PCM數(shù)據(jù)的合成,這里合成包括音頻之間的拼接,混合。
- 音頻拼接:一段音頻連接著另一段音頻,兩段音頻不會(huì)同時(shí)播放,有先后順序。
- 音頻混合:一段音頻和另一段音頻存在相同的區(qū)間,兩者會(huì)有同時(shí)播放的區(qū)間。
下面是音頻拼接,音頻混合的效果圖:
音頻拼接
如果大家理解了android音頻編輯之音頻轉(zhuǎn)換PCM與WAV和android音頻編輯之音頻裁剪的原理。那么音頻拼接的原理其實(shí)就很好理解了。總的說(shuō)來(lái)就是新建一個(gè)音頻文件,將一段音頻的PCM數(shù)據(jù)復(fù)制到新音頻上,再將另一段音頻的PCM數(shù)據(jù)復(fù)制到新音頻上。但這里還是有一些需要注意的。
情景一
假設(shè)A音頻40秒,B音頻20秒,B音頻數(shù)據(jù)拼接到A音頻后面,得到60秒的C音頻文件。
這種情況最簡(jiǎn)單了,新建音頻文件C,將A音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上,再將B音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上,然后為C音頻寫上wav文件頭信息,得到可播放的WAV文件。
情景二
假設(shè)A音頻40秒,B音頻20秒,B音頻數(shù)據(jù)插入到A音頻10秒的地方,得到60秒的C音頻文件。
這種情況稍微復(fù)雜點(diǎn),新建音頻文件C,將A音頻前10秒的PCM數(shù)據(jù)復(fù)制到C音頻文件上,再將B音頻的PCM數(shù)據(jù)復(fù)制到C音頻文件上,再將A音頻后30秒的PCM數(shù)據(jù)復(fù)制到C音頻文件上,最后為C音頻寫上wav文件頭信息,得到可播放的WAV文件。
情景三
假設(shè)A音頻40秒,B音頻20秒,B音頻5至15秒的數(shù)據(jù)插入到A音頻10秒的地方,得到50秒的C音頻文件。
這種情況更復(fù)雜,也是最常見(jiàn)的插入場(chǎng)景,裁剪B音頻并插入到A音頻的某個(gè)位置,這里涉及到B音頻數(shù)據(jù)的裁剪,當(dāng)然原理其實(shí)也是簡(jiǎn)單的,計(jì)算出B音頻5秒和10秒對(duì)應(yīng)的文件數(shù)據(jù)位置,然后復(fù)制這個(gè)區(qū)間的數(shù)據(jù)到C上,針對(duì)A文件的數(shù)據(jù),也是同樣道理。
情景四
A音頻和B音頻中多段數(shù)據(jù)相互拼接
這種情況,原理同上面一樣,只要知道指定時(shí)間對(duì)應(yīng)的數(shù)據(jù)是什么,就可以實(shí)現(xiàn)自由拼接了。
音頻拼接的實(shí)現(xiàn)參考我的Github項(xiàng)目 AudioEdit,這里我就不貼具體代碼了。
音頻混合
音頻混合是指一段音頻和另一段音頻合在一起,能夠同時(shí)播放,比如最常見(jiàn)的人聲錄音和背景音樂(lè)的合成,可以得到一首人聲歌曲。
音頻混合的原理是
音頻混合原理: 量化的語(yǔ)音信號(hào)的疊加等價(jià)于空氣中聲波的疊加。
也就是說(shuō)將輸入的每段音頻的某個(gè)時(shí)間點(diǎn)的采樣點(diǎn)數(shù)值進(jìn)行相加,即可將聲音信號(hào)加入到輸出的音頻中。
音頻采樣點(diǎn)數(shù)值的大小是(-32768,32767),對(duì)應(yīng)short的最小值和最大值,音頻采樣點(diǎn)數(shù)據(jù)就是由一個(gè)個(gè)數(shù)值組成的的。如果單純疊加,可能會(huì)造成相加后的值會(huì)大于32767,超出short的表示范圍,也就是溢出,所以在音頻混合上回采用一些算法進(jìn)行處理。下面列舉下簡(jiǎn)單的混合方式。
直接疊加法
A(A1,A2,A3,A4)和B(B1,B2,B3,B4)疊加后求平均值,得到C((A1+B1),(A2+B2),(A3+B3),(A4+B4))
這種情況,輸出的音頻中A和B音頻數(shù)據(jù)都可以以相同聲音大小播放,但是可能出現(xiàn)溢出的情況。假設(shè)A音頻指定時(shí)間點(diǎn)的某段采樣數(shù)據(jù)是(23,67,511,139,307),B音頻對(duì)應(yīng)該時(shí)間點(diǎn)的采樣數(shù)據(jù)是(1101,300,47,600,22),那么兩者直接疊加的話,得到的采樣數(shù)據(jù)是(1124,367,558,739,329),這個(gè)短采樣數(shù)據(jù)就是兩者聲音混合的數(shù)據(jù)了。
疊加后求平均值
A(A1,A2,A3,A4)和B(B1,B2,B3,B4)疊加后求平均值,得到C((A1+B1)/2,(A2+B2)/2,(A3+B3)/2,(A4+B4)/2)
這樣可以避免出現(xiàn)溢出的情況,但是會(huì)出現(xiàn)兩者聲音會(huì)比之前單獨(dú)的聲音小了一半,比如人聲和背景音樂(lè)混合,導(dǎo)致輸出的音頻中,人聲小了一半,背景音樂(lè)也小了一半,這種情況可能就不是想要的效果,特別是多段音頻混合的情況。
權(quán)值疊加法
A(A1,A2,A3,A4)和B(B1,B2,B3,B4)權(quán)值疊加,A權(quán)值為x,B權(quán)值為y,得到C((A1 * x+B1 * y),(A2 * x+B2 * y),(A3 * x+B3 * y),(A4 * x+B4 * y))
這樣可以更方便條件A和B的音量的大小,比如A的權(quán)值為1.2,B的權(quán)值為0.8,那么A的聲音相對(duì)提高了,B的聲音相對(duì)減弱了。嚴(yán)格來(lái)說(shuō),直接疊加法和疊加求平均值法都屬于該類型。
此外還有各種更復(fù)雜的混合算法,如動(dòng)態(tài)權(quán)值法,A和B的權(quán)值會(huì)根據(jù)當(dāng)前時(shí)刻采樣點(diǎn)數(shù)值的大小進(jìn)行動(dòng)態(tài)變化,得到一個(gè)動(dòng)態(tài)增益和衰減的混合方式。
下面是直接疊加法的實(shí)現(xiàn),需要注意short值要按大端存儲(chǔ)的方式計(jì)算,存儲(chǔ)時(shí)按大端方式存儲(chǔ)。
/** * 疊加合成器 * @author Darcy */ private static class AddAudioMixer extends MultiAudioMixer{ @Override public byte[] mixRawAudioBytes(byte[][] bMulRoadAudioes) { if (bMulRoadAudioes == null || bMulRoadAudioes.length == 0) return null; byte[] realMixAudio = bMulRoadAudioes[0]; if(bMulRoadAudioes.length == 1) return realMixAudio; for(int rw = 0 ; rw < bMulRoadAudioes.length ; ++rw){ if(bMulRoadAudioes[rw].length != realMixAudio.length){ Log.e("app", "column of the road of audio + " + rw +" is diffrent."); return null; } } //row 代表參與合成的音頻數(shù)量 //column 代表一段音頻的采樣點(diǎn)數(shù),這里所有參與合成的音頻的采樣點(diǎn)數(shù)都是相同的 int row = bMulRoadAudioes.length; int coloum = realMixAudio.length / 2; short[][] sMulRoadAudioes = new short[row][coloum]; //PCM音頻16位的存儲(chǔ)是大端存儲(chǔ)方式,即低位在前,高位在后,例如(X1Y1, X2Y2, X3Y3)數(shù)據(jù),它代表的采樣點(diǎn)數(shù)值就是((Y1 * 256 + X1), (Y2 * 256 + X2), (Y3 * 256 + X3)) for (int r = 0; r < row; ++r) { for (int c = 0; c < coloum; ++c) { sMulRoadAudioes[r][c] = (short) ((bMulRoadAudioes[r][c * 2] & 0xff) | (bMulRoadAudioes[r][c * 2 + 1] & 0xff) << 8); } } short[] sMixAudio = new short[coloum]; int mixVal; int sr = 0; for (int sc = 0; sc < coloum; ++sc) { mixVal = 0; sr = 0; //這里采取累加法 for (; sr < row; ++sr) { mixVal += sMulRoadAudioes[sr][sc]; } //最終值不能大于short最大值,因此可能出現(xiàn)溢出 sMixAudio[sc] = (short) (mixVal); } //short值轉(zhuǎn)為大端存儲(chǔ)的雙字節(jié)序列 for (sr = 0; sr < coloum; ++sr) { realMixAudio[sr * 2] = (byte) (sMixAudio[sr] & 0x00FF); realMixAudio[sr * 2 + 1] = (byte) ((sMixAudio[sr] & 0xFF00) >> 8); } return realMixAudio; } }
注意事項(xiàng)
音頻的拼接和混音,有一些是需要注意和處理的。
1. 需要確保A音頻和B音頻的采樣位數(shù)一致。例如A音頻是16位采樣位數(shù),B音頻是8位采樣位數(shù),那么這時(shí)是不能直接拼接的,需要轉(zhuǎn)換成相同的采樣位數(shù),才能做后續(xù)操作。
2. 需要確保A音頻和B音頻的采樣率一致。這個(gè)在錄音和歌曲拼接時(shí)要特別注意,假如錄音的音頻頻率是16000,歌曲的音頻是44100,那么兩者也是不能直接拼接的,需要轉(zhuǎn)換成相同的采樣率,轉(zhuǎn)換采樣率可以使用resample庫(kù)。
3. 需要確保A音頻和B音頻的聲道數(shù)一致。當(dāng)然這個(gè)并不是指單聲道和雙聲道的音頻不能合成了,事實(shí)上錄音音頻通常是單聲道的,而歌曲通常是雙聲道的。單聲道和雙聲道音頻合成,一般是按雙聲道為基準(zhǔn),需要將單聲道音頻轉(zhuǎn)換成雙聲道音頻,轉(zhuǎn)換原理也簡(jiǎn)單,將單聲道的采樣點(diǎn)數(shù)據(jù)多復(fù)制一份,比如將單聲道的ABCD數(shù)據(jù)轉(zhuǎn)換成雙聲道的AABBCCDD數(shù)據(jù)。
那么我們可能會(huì)有疑問(wèn),如果A音頻和B音頻的采樣率位數(shù),采樣率,聲道數(shù)不一樣的話,合成后是有效的音頻文件嗎?這個(gè)其實(shí)是有效的,同樣可以播放,但是會(huì)造成合成后的音頻不同部分的音頻播放速度不一樣,例如單聲道的A和雙聲道的B拼接,會(huì)造成A部分的播放速度比B的播放速度快一倍,而B(niǎo)的播放速度是正常的。
總結(jié)
到這里我想大家已經(jīng)對(duì)音頻的裁剪,拼接,混合的原理有了基本的了解了,不過(guò)大家可能會(huì)發(fā)現(xiàn)輸出的音頻都是WAV或者PCM格式的,而我最終需要的是MP3或者AAC等格式的音頻,那么該如何轉(zhuǎn)換呢?其實(shí)這個(gè)就是涉及到音頻的編碼了,mp3編碼可以使用第三方庫(kù)mp3lame,AAC編碼可以使用Android自帶的MediaCodec實(shí)現(xiàn)。
我的Github項(xiàng)目 AudioEdit
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- Android音頻編輯之音頻轉(zhuǎn)換PCM與WAV
- android采用FFmpeg實(shí)現(xiàn)音頻混合與拼接剪切
- Android 判斷網(wǎng)絡(luò)狀態(tài)對(duì)音頻靜音的實(shí)現(xiàn)方法
- Android使用MediaRecorder類實(shí)現(xiàn)視頻和音頻錄制功能
- Android視頻/音頻緩存框架AndroidVideoCache(Okhttp)詳解
- Android音頻系統(tǒng)AudioTrack使用方法詳解
- Android線程中Handle的使用講解
- Android傳感器SensorEventListener之加速度傳感器
- Android亮屏速度分析總結(jié)
- Android添加音頻的幾種方法
相關(guān)文章
Android程序開(kāi)發(fā)之ListView 與PopupWindow實(shí)現(xiàn)從左向右滑動(dòng)刪除功能
這篇文章主要介紹了Android程序開(kāi)發(fā)之ListView 與PopupWindow實(shí)現(xiàn)滑動(dòng)刪除功能的相關(guān)資料,非常不錯(cuò),具有參考借鑒價(jià)值,需要的朋友可以參考下2016-07-07Android FaceDetector實(shí)現(xiàn)人臉檢測(cè)功能
這篇文章主要為大家詳細(xì)介紹了Android FaceDetector實(shí)現(xiàn)人臉檢測(cè)功能,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-05-05Android編程中Tween動(dòng)畫和Frame動(dòng)畫實(shí)例分析
這篇文章主要介紹了Android編程中Tween動(dòng)畫和Frame動(dòng)畫,結(jié)合實(shí)例形式較為詳細(xì)的分析了Android中Tween動(dòng)畫和Frame動(dòng)畫的相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2015-12-12android實(shí)現(xiàn)桌面移動(dòng)懸浮窗口
這篇文章主要為大家詳細(xì)介紹了android實(shí)現(xiàn)桌面移動(dòng)懸浮窗口,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-07-07Adapter模式實(shí)戰(zhàn)之重構(gòu)鴻洋集團(tuán)的Android圓形菜單建行
這篇文章主要介紹了Adapter模式實(shí)戰(zhàn)之重構(gòu)鴻洋集團(tuán)的Android圓形菜單建行的相關(guān)資料,需要的朋友可以參考下2016-03-03Android 讀取assets和raw文件內(nèi)容實(shí)例代碼
這篇文章主要介紹了Android 讀取assets和raw文件內(nèi)容的相關(guān)資料,并附簡(jiǎn)單實(shí)例代碼,需要的朋友可以參考下2016-10-10Android 網(wǎng)絡(luò)請(qǐng)求框架Volley實(shí)例詳解
這篇文章主要介紹了Android 網(wǎng)絡(luò)請(qǐng)求框架Volley實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-06-06