Android硬件解碼組件MediaCodec使用教程

更新時間：2022年11月21日 17:01:41 作者：lpf_wei

在Android開發(fā)中提供了實現(xiàn)音視頻編解碼工具MediaCodec，針對對應音視頻解碼類型通過該類創(chuàng)建對應解碼器就能實現(xiàn)對數(shù)據(jù)進行解碼操作。本文通過示例詳細講解了MediaCodec的使用，需要的可以參考一下

1.MediaCodec 是什么

MediaCodec類可以訪問底層媒體編解碼器框架（StageFright 或 OpenMAX），即編解碼組件。是Android 的低層多媒體基礎設施的一部分（通常與MediaExtractor、MediaSync、MediaMuxer、Image、Surface和AudioTrack一起使用），它本身并不具備Codec能力，通過調動底層編解碼組件獲得了Codec的能力。

2.創(chuàng)建MediaCodec的方式

2.1按照格式創(chuàng)建

createDecoderByType(String type)：創(chuàng)建解碼器
createEncoderByType(String type):創(chuàng)建編碼器

type是數(shù)據(jù)解析階段的mimeType，如"video/avc"

2.2按照名字創(chuàng)建

createByCodecName(String name)

OMX.google.h264.decoder: 軟解碼

OMX.MTK.VIDEO.DECODER>AVC：硬解碼

3.MediaCode硬件解碼并進行播放實例

    private String mFilePath="/sdcard/DCIM/189017886849403.mp4";
    private DecodeThread mDecodeThread;
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
//        setContentView(R.layout.activity_media_codec_decode);
        SurfaceView surfaceView=new SurfaceView(this);
        /*不自己維護緩沖區(qū)，等待屏幕的渲染引擎 將內容推送到用戶前面*/
        surfaceView.getHolder().setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS);
        surfaceView.getHolder().addCallback(this);
        setContentView(surfaceView);
    }

定義播放的視頻路徑
定義解碼的線程
創(chuàng)建SurfaceView，并設置Callback

@Override
public void surfaceCreated(@NonNull SurfaceHolder holder) {
}
@Override
public void surfaceChanged(@NonNull SurfaceHolder holder, int format, int width, int height) {
    if (mDecodeThread ==null){
        mDecodeThread =new DecodeThread(holder.getSurface());
        mDecodeThread.start();
    }
}
@Override
public void surfaceDestroyed(@NonNull SurfaceHolder holder) {
    if (mDecodeThread !=null){
        mDecodeThread.interrupt();   //停止線程的正確姿勢
    }
}

在SurfaceView的回調函數(shù)surfaceChanged 開啟線程
在SurfaceView的回調函數(shù)surfaceDestroyed 打斷線程

 private class DecodeThread extends Thread{
        private MediaExtractor mMediaExtractor;
        private MediaCodec mMediaCodec;
        private Surface mSurface;
        /*通過構造方法將surface傳遞進來*/
        public DecodeThread(Surface surface){
            mSurface = surface;
        }
        @Override
        public void run() {
            super.run();
            mMediaExtractor = new MediaExtractor();
            try {
                mMediaExtractor.setDataSource(mFilePath);
            } catch (IOException e) {
                e.printStackTrace();
            }
            int trackCount = mMediaExtractor.getTrackCount();
            //從媒體提取器中拿到了 MIME 以及MediaFormat   通過MIME 創(chuàng)建的硬件解碼器   通過MediaFormat配置的硬件解碼器
            for (int i = 0; i < trackCount; i++) {
                MediaFormat trackFormat = mMediaExtractor.getTrackFormat(i);
                Log.d("lpf","trackFormat is "+trackFormat);
                String mime=trackFormat.getString(MediaFormat.KEY_MIME);
                Log.d("lpf","mime is "+mime);
                if (mime.startsWith("video/")){
                    mMediaExtractor.selectTrack(i);
                    try {
                        mMediaCodec=MediaCodec.createDecoderByType(mime);
                    } catch (IOException e) {
                        e.printStackTrace();
                    }
                    //這樣配置之后，解碼之后的數(shù)據(jù)就會 直接顯示在mSurface 上邊  這里是核心點
                    mMediaCodec.configure(trackFormat,mSurface,null,0);
                    break;
                }
            }
            if (mMediaCodec == null){
                return;
            }
            //調用Start 如果沒有異常信息，表示成功構建組件
            mMediaCodec.start();
            ByteBuffer[] inputBuffers = mMediaCodec.getInputBuffers();
            ByteBuffer[] outputBuffers = mMediaCodec.getOutputBuffers();
            //每個Buffer的元數(shù)據(jù)包括具體的范圍以及偏移大小，以及數(shù)據(jù)中心相關解碼的buffer
            MediaCodec.BufferInfo info=new MediaCodec.BufferInfo();
            boolean isEOF=false;
            long startMs=System.currentTimeMillis();
            while (!Thread.interrupted()){//只要線程不中斷
                if (!isEOF){
                    //返回有效的buffer 索引，如果沒有相關的Buffer可用，就返回-1
                    //傳入的timeoutUs為0表示立即返回
//                    如果數(shù)據(jù)的buffer可用，將無限期等待timeUs的單位是納秒
                    int index =mMediaCodec.dequeueInputBuffer(10000);
                    if (index >= 0){
                        ByteBuffer byteBuffer=inputBuffers[index];
                        Log.d("lpf","bytebuffer is "+byteBuffer);
                        int sampleSize=mMediaExtractor.readSampleData(byteBuffer,0);
                        Log.d("lpf","sampleSize is "+sampleSize);
                        if (sampleSize < 0){
                            Log.d("lpf","inputBuffer is BUFFER_FLAG_END_OF_STREAMING");
                            mMediaCodec.queueInputBuffer(index,0,0,0,MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                            isEOF=true;
                        }else{
                            mMediaCodec.queueInputBuffer(index,0,sampleSize,mMediaExtractor.getSampleTime(),0);
                            mMediaExtractor.advance();  //下一幀數(shù)據(jù)
                        }
                    }
                }
                int outIndex=mMediaCodec.dequeueOutputBuffer(info,100000);
                switch (outIndex){
                    case MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED:
                        //當buffer變化時，必須重新指向新的buffer
                        outputBuffers=mMediaCodec.getOutputBuffers();
                        break;
                    case MediaCodec.INFO_OUTPUT_FORMAT_CHANGED:
                        //當Buffer的封裝格式發(fā)生變化的時候，需重新指向新的buffer格式
                        Log.d("lpf","output  buffer changed");
                            break;
                    case MediaCodec.INFO_TRY_AGAIN_LATER:
                        //dequeueOutputBuffer 超時的時候會到這個case
                        Log.d("lpf","dequeueOutputBuffer timeout");
                        break;
                    default:
                        ByteBuffer buffer=outputBuffers[outIndex];
                        //由于配置的時候 將Surface 傳進去了  所以解碼的時候 將數(shù)據(jù)直接交給了Surface進行顯示了
                        //使用簡單的時鐘的方式保持視頻的fps（每秒顯示的幀數(shù)），不然視頻會播放的比較快
                        Log.d("lpf","解碼之后的 buffer數(shù)據(jù)="+buffer);
                        while (info.presentationTimeUs/1000>System.currentTimeMillis()-startMs){
                            try {
                                Thread.sleep(10);
                            } catch (InterruptedException e) {
                                e.printStackTrace();
                            }
                        }
                        mMediaCodec.releaseOutputBuffer(outIndex,true);
                        break;
                }
                if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0){
                    Log.d("lpf","outputBuffer BUFFER_FLAG_END_OF_STREAM");
                    break;
                }
            }
            mMediaCodec.stop();
            mMediaCodec.release();// 釋放組件
            mMediaExtractor.release();
        }
    }

定義媒體提取器：MediaExtractor,通過媒體提取器，得到視頻的MIME以及MediaFormat數(shù)據(jù)
通過媒體提取器拿到的MIME 類型來創(chuàng)建硬件解碼器MediaCodec，再通過上一步拿到的額MediaFormat來配置硬件解碼器。
配置完成后，調用硬件解碼器的start函數(shù)，解碼器就開始工作了
從解碼器上拿到輸入和輸出Buffer數(shù)組，用于解碼使用
dequeueInputBuffer通過這個函數(shù)得到待解碼的數(shù)據(jù)index，然后通過index拿到ByteBuffer
然后mMediaExtractor調用readSampleData來讀取數(shù)據(jù)，將數(shù)據(jù)得到ByteBuffer中去
接下來將數(shù)據(jù)丟入編碼隊列，這個隊列在MediaCodec中
然后就可以從硬件解碼器中獲取數(shù)據(jù)了，由于配置的時候將Surface當做參數(shù)配置給了MediaCodec，所以數(shù)據(jù)會直接通過SurfaceView進行顯示。

4.MediaCodec 異步解碼進行播放

public void startSyncPlay(Surface surface){
    mMediaExtractor = new MediaExtractor();
    try {
        mMediaExtractor.setDataSource(mFilePath);
    } catch (IOException e) {
        e.printStackTrace();
    }
    int trackCount = mMediaExtractor.getTrackCount();
    //從媒體提取器中拿到了 MIME 以及MediaFormat   通過MIME 創(chuàng)建的硬件解碼器   通過MediaFormat配置的硬件解碼器
    for (int i = 0; i < trackCount; i++) {
        MediaFormat trackFormat = mMediaExtractor.getTrackFormat(i);
        Log.d("lpf","trackFormat is "+trackFormat);
        String mime=trackFormat.getString(MediaFormat.KEY_MIME);
        Log.d("lpf","mime is "+mime);
        if (mime.startsWith("video/")) {
            mMediaExtractor.selectTrack(i);
            try {
                mMediaCodec=MediaCodec.createDecoderByType(mime);
                if (mMediaCodec == null){
                    return;
                }
                //這樣配置之后，解碼之后的數(shù)據(jù)就會 直接顯示在mSurface 上邊  這里是核心點
                mMediaCodec.configure(trackFormat,surface,null,0);
                mMediaCodec.setCallback(new MediaCodec.Callback() {
                    @Override
                    public void onInputBufferAvailable(@NonNull MediaCodec codec, int index) {
                        ByteBuffer inputBuffer = codec.getInputBuffer(index);
                        int sampleSize=mMediaExtractor.readSampleData(inputBuffer,0);
                        if (sampleSize>0) {
                            codec.queueInputBuffer(index,0,sampleSize,mMediaExtractor.getSampleTime(),0);
                            mMediaExtractor.advance();  //下一幀數(shù)據(jù)
                        }else {
                            codec.queueInputBuffer(index,0,0,0,MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                        }
                    }
                    @Override
                    public void onOutputBufferAvailable(@NonNull MediaCodec codec, int index, @NonNull MediaCodec.BufferInfo info) {
                        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0){
                            Log.d("lpf","outputBuffer BUFFER_FLAG_END_OF_STREAM");
                            codec.stop();
                            codec.release();// 釋放組件
                            mMediaExtractor.release();
                            return;
                        }
                        if (index>0){
                            if (startMs==-1){
                                startMs=System.currentTimeMillis();
                            }
                            sleepRender(info,startMs);
                        }
                        codec.releaseOutputBuffer(index,true);  //釋放緩沖區(qū)，并交給Surface 進行播放
                    }
                    @Override
                    public void onError(@NonNull MediaCodec codec, @NonNull MediaCodec.CodecException e) {
                    }
                    @Override
                    public void onOutputFormatChanged(@NonNull MediaCodec codec, @NonNull MediaFormat format) {
                    }
                });
                //調用Start 如果沒有異常信息，表示成功構建組件
                mMediaCodec.start();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
}

異步的方式進行解碼操作，比較簡單，推薦使用這個方式