Javacv使用ffmpeg實(shí)現(xiàn)音視頻同步播放

更新時(shí)間：2017年12月22日 16:53:35 作者：_Thomas

這篇文章主要介紹了Javacv使用ffmpeg實(shí)現(xiàn)音視頻同步播放，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧

最近用javaCV的ffmpeg包的FFmpegFrameGrabber幀捕捉器對(duì)捕捉到的音頻幀和視頻幀做了同步的播放。采用的同步方法是視頻向音頻同步。

程序和源碼

具體的思路如下：

(1)首先介紹ffmpeg是如何捕捉視頻文件的圖像和聲音的

FFmpegFrameGrabber fg = new FFmpegFrameGrabber("a video file path or a url);

得到幀捕捉器對(duì)象后，調(diào)用它的grab()方法就會(huì)返回捕捉到的Frame對(duì)象。這個(gè)Frame可以是視頻幀或者是音頻幀，這是因?yàn)橐粢曨l幀時(shí)按照時(shí)間戳在播放時(shí)間先上排列的。當(dāng)然捕捉到的幀都是已經(jīng)譯碼過的，并且存儲(chǔ)在java.nio.Buffer對(duì)象中，對(duì)于視頻幀，Buffer是儲(chǔ)存圖像的像素?cái)?shù)據(jù)比如RGB，然后通過

BufferedImage bi = (new Java2DFrameConverter()).getBufferedImage(f);

就可以得到圖片，得到的圖片可以進(jìn)行一系列的處理或者不處理直接顯示在swing組件上。對(duì)應(yīng)音頻幀，Buffer是儲(chǔ)存音頻的PCM數(shù)據(jù)，這個(gè)PCM可以是float或者short的，然后用java.sounds.sample里面的sourceDataLine.write方法就可以將這些音頻PCM數(shù)據(jù)寫入到揚(yáng)聲器中。

(2)接著介紹如何不斷得將得到的幀播放出來。首先是單獨(dú)播放視頻:

while(true) 
{ 
  Frame f = fg.grab();  
  if(f.image!=null) 
  label.setIcon(new ImageIcon((new Java2DFrameConverter()).getBufferedImage(f))); 
  Thread.sleep(1000/視頻幀率);  
}

單獨(dú)播放音頻同理，將數(shù)據(jù)寫入到聲卡即可。例子

(3)生產(chǎn)消費(fèi)者模式。

上圖是程序?qū)崿F(xiàn)的方法，采用生產(chǎn)者模式將捕獲到的幀進(jìn)行判斷，如果是視頻幀就生產(chǎn)到視頻FIFO中，如果是音頻幀就生產(chǎn)到音頻FIFO中，然后音頻播放線程和視頻播放線程分別從各自的幀倉(cāng)庫(kù)消費(fèi)里面的幀。之所以采用生產(chǎn)消費(fèi)者模式是因?yàn)閹东@的速度是大于幀的消耗的，所以我們優(yōu)先捕獲幀來緩沖，或者進(jìn)一步對(duì)捕獲的幀進(jìn)行預(yù)處理，而視頻和音頻播放線程只需要將處理過的幀直接播放顯示即可。

(4)實(shí)現(xiàn)音視頻同步的方法：播放兩幀音頻里面的所有視頻幀。

想要實(shí)現(xiàn)音視頻同步，必須要有幀的時(shí)間戳，這里捕獲到的幀只有播放的時(shí)間戳PTS，沒有譯碼時(shí)間戳DTS，所以我們只需要根據(jù)播放時(shí)間戳來決定播放即可。

程序的實(shí)現(xiàn)是根據(jù)上圖來的，當(dāng)音頻線程開始播放音頻幀A1時(shí)，就調(diào)用視頻線程的setRun方法，并且傳遞當(dāng)前要播放的音頻幀時(shí)間戳curTime和下一幀音頻幀A2的時(shí)間戳nextTime給處于wait態(tài)的視頻線程，然后視頻線程啟動(dòng)，開始從視頻FIFO中取出視頻幀G1，然后計(jì)算G1和A1的時(shí)間差，作為播放的延時(shí)，Thread.sleep(t1)后，視頻線程就將圖片顯示在swing組件上，比如JLabel.setIcon(image)。然后視頻線程再取出一幀圖像G2，比較G2的時(shí)間戳和A2的時(shí)間戳，如果G2時(shí)間戳小于A2，那么視頻線程繼續(xù)延時(shí)t2以后，播放這個(gè)G2圖像，接著G3同理，直到取得G4，和A2比較發(fā)現(xiàn)G4時(shí)間戳大于A2，那么視頻線程就進(jìn)入wait態(tài)，等待下一次啟動(dòng)。然后音頻線程播放完A1音頻幀以后，就從倉(cāng)庫(kù)取出音頻幀A3，然后將A2的時(shí)間戳和A3的時(shí)間戳傳遞給視頻線程，然后開始播放A2，然后堵塞的視頻線程同理繼續(xù)播放。

(5)動(dòng)態(tài)調(diào)節(jié)延時(shí)時(shí)間

由于個(gè)人PC都不是實(shí)時(shí)操作系統(tǒng)，也就是Thread.sleep是不精確的，并且受到聲卡播放聲音的制約，所以上面的基本實(shí)現(xiàn)思路是需要加以完善的。首先java的sourceDataLine的方法是依照一定的速度從內(nèi)部緩沖區(qū)取出音頻線程寫入的數(shù)據(jù)，如果音頻寫入的數(shù)據(jù)被取光了，那么音頻播放就會(huì)發(fā)生卡頓，但是如果一次音頻數(shù)據(jù)寫入過多，那么就會(huì)發(fā)生音視頻可能就會(huì)不同步，所以要確保sourceDataLine的內(nèi)部緩沖區(qū)是留有一定數(shù)據(jù)的，否則就會(huì)造成卡頓，但是數(shù)據(jù)量又不能過多，所以我們?cè)贕3到A2這段時(shí)間來進(jìn)行聲音播放的調(diào)節(jié)，由于延時(shí)的不精準(zhǔn)性，寫入的A1幀的數(shù)據(jù)可能時(shí)間還沒滿t6就可能被聲卡取光了，所以在播放完G3圖像以后，聲音線程會(huì)判斷根據(jù)sourceDataLine.available()返回的數(shù)據(jù)量進(jìn)行判斷，如果數(shù)據(jù)量快要完了，就減少G3到A2的延時(shí)時(shí)間t4。這樣子就可以保證數(shù)據(jù)量是不會(huì)變?yōu)?造成聲音卡頓。

(6)下面是程序在window64下測(cè)試和ubuntu14下測(cè)試的結(jié)果圖: 播放是比較流暢的，同步也是可以的，但是開著播放比企鵝在IDE如IDEA中寫代碼的話，會(huì)卡，畢竟IDEA也是用java開發(fā)的，所以IDEA的運(yùn)行會(huì)影響其他java程序，但是其他進(jìn)程不會(huì)影響。