SurfaceView, GLSurfaceView, SurfaceTexture以及TextureView是Android當(dāng)中名字比較繞，關(guān)系又比較密切的幾個類。本文基于Android 5.0(Lollipop)的代碼理一下它們的基本原理，聯(lián)系與區(qū)別。

SurfaceView

SurfaceView從Android 1.0(API level 1)時就有 。它繼承自類View，因此它本質(zhì)上是一個View。但與普通View不同的是，它有自己的Surface。我們知道，一般的Activity包含的多個View會組成View hierachy的樹形結(jié)構(gòu)，只有最頂層的DecorView，也就是根結(jié)點視圖，才是對WMS可見的。這個DecorView在WMS中有一個對應(yīng)的WindowState。相應(yīng)地，在SF中對應(yīng)的Layer。而SurfaceView自帶一個Surface，這個Surface在WMS中有自己對應(yīng)的WindowState，在SF中也會有自己的Layer。如下圖所示：

也就是說，雖然在App端它仍在View hierachy中，但在Server端（WMS和SF）中，它與宿主窗口是分離的。這樣的好處是對這個Surface的渲染可以放到單獨線程去做，渲染時可以有自己的GL context。這對于一些游戲、視頻等性能相關(guān)的應(yīng)用非常有益，因為它不會影響主線程對事件的響應(yīng)。但它也有缺點，因為這個Surface不在View hierachy中，它的顯示也不受View的屬性控制，所以不能進行平移，縮放等變換，也不能放在其它ViewGroup中，一些View中的特性也無法使用。

GLSurfaceView

GLSurfaceView從Android 1.5(API level 3)開始加入，作為SurfaceView的補充。它可以看作是SurfaceView的一種典型使用模式。在SurfaceView的基礎(chǔ)上，它加入了EGL的管理，并自帶了渲染線程。另外它定義了用戶需要實現(xiàn)的Render接口，提供了用Strategy pattern更改具體Render行為的靈活性。作為GLSurfaceView的Client，只需要將實現(xiàn)了渲染函數(shù)的Renderer的實現(xiàn)類設(shè)置給GLSurfaceView即可。如：

public class TriangleActivity extends Activity {
    protected void onCreate(Bundle savedInstanceState) {
        mGLView = new GLSurfaceView(this);
        mGLView.setRenderer(new RendererImpl(this));

相關(guān)類圖如下。其中SurfaceView中的SurfaceHolder主要是提供了一坨操作Surface的接口。GLSurfaceView中的EglHelper和GLThread分別實現(xiàn)了上面提到的管理EGL環(huán)境和渲染線程的工作。GLSurfaceView的使用者需要實現(xiàn)Renderer接口。

SurfaceTexture

SurfaceTexture從Android 3.0(API level 11)加入。和SurfaceView不同的是，它對圖像流的處理并不直接顯示，而是轉(zhuǎn)為GL外部紋理，因此可用于圖像流數(shù)據(jù)的二次處理（如Camera濾鏡，桌面特效等）。比如Camera的預(yù)覽數(shù)據(jù)，變成紋理后可以交給GLSurfaceView直接顯示，也可以通過SurfaceTexture交給TextureView作為View heirachy中的一個硬件加速層來顯示。首先，SurfaceTexture從圖像流（來自Camera預(yù)覽，視頻解碼，GL繪制場景等）中獲得幀數(shù)據(jù)，當(dāng)調(diào)用updateTexImage()時，根據(jù)內(nèi)容流中最近的圖像更新SurfaceTexture對應(yīng)的GL紋理對象，接下來，就可以像操作普通GL紋理一樣操作它了。從下面的類圖中可以看出，它核心管理著一個BufferQueue的Consumer和Producer兩端。Producer端用于內(nèi)容流的源輸出數(shù)據(jù)，Consumer端用于拿GraphicBuffer并生成紋理。SurfaceTexture.OnFrameAvailableListener用于讓SurfaceTexture的使用者知道有新數(shù)據(jù)到來。JNISurfaceTextureContext是OnFrameAvailableListener從Native到Java的JNI跳板。其中SurfaceTexture中的attachToGLContext()和detachToGLContext()可以讓多個GL context共享同一個內(nèi)容源。

Android 5.0中將BufferQueue的核心部分分離出來，放在BufferQueueCore這個類中。BufferQueueProducer和BufferQueueConsumer分別是它的生產(chǎn)者和消費者實現(xiàn)基類（分別實現(xiàn)了IGraphicBufferProducer和IGraphicBufferConsumer接口）。它們都是由BufferQueue的靜態(tài)函數(shù)createBufferQueue()來創(chuàng)建的。Surface是生產(chǎn)者端的實現(xiàn)類，提供dequeueBuffer/queueBuffer等硬件渲染接口，和lockCanvas/unlockCanvasAndPost等軟件渲染接口，使內(nèi)容流的源可以往BufferQueue中填graphic buffer。GLConsumer繼承自ConsumerBase，是消費者端的實現(xiàn)類。它在基類的基礎(chǔ)上添加了GL相關(guān)的操作，如將graphic buffer中的內(nèi)容轉(zhuǎn)為GL紋理等操作。到此，以SurfaceTexture為中心的一個pipeline大體是這樣的：

TextureView

TextureView在4.0(API level 14)中引入。它可以將內(nèi)容流直接投影到View中，可以用于實現(xiàn)Live preview等功能。和SurfaceView不同，它不會在WMS中單獨創(chuàng)建窗口，而是作為View hierachy中的一個普通View，因此可以和其它普通View一樣進行移動，旋轉(zhuǎn)，縮放，動畫等變化。值得注意的是TextureView必須在硬件加速的窗口中。它顯示的內(nèi)容流數(shù)據(jù)可以來自App進程或是遠端進程。從類圖中可以看到，TextureView繼承自View，它與其它的View一樣在View hierachy中管理與繪制。TextureView重載了draw()方法，其中主要把SurfaceTexture中收到的圖像數(shù)據(jù)作為紋理更新到對應(yīng)的HardwareLayer中。SurfaceTexture.OnFrameAvailableListener用于通知TextureView內(nèi)容流有新圖像到來。SurfaceTextureListener接口用于讓TextureView的使用者知道SurfaceTexture已準備好，這樣就可以把SurfaceTexture交給相應(yīng)的內(nèi)容源。Surface為BufferQueue的Producer接口實現(xiàn)類，使生產(chǎn)者可以通過它的軟件或硬件渲染接口為SurfaceTexture內(nèi)部的BufferQueue提供graphic buffer。

實例解讀

下面以VideoDumpView.java（位于/frameworks/base/media/tests/MediaDump/src/com/android/mediadump/）為例分析下SurfaceTexture的使用。這個例子的效果是從MediaPlayer中拿到視頻幀，然后顯示在屏幕上，接著把屏幕上的內(nèi)容dump到指定文件中。因為SurfaceTexture本身只產(chǎn)生紋理，所以這里還需要GLSurfaceView配合來做最后的渲染輸出。

首先，VideoDumpView是GLSurfaceView的繼承類。在構(gòu)造函數(shù)VideoDumpView()中會創(chuàng)建VideoDumpRenderer，也就是GLSurfaceView.Renderer的實例，然后調(diào)setRenderer()將之設(shè)成GLSurfaceView的Renderer。

109    public VideoDumpView(Context context) {
...
116        mRenderer = new VideoDumpRenderer(context);
117        setRenderer(mRenderer);
118    }

隨后，GLSurfaceView中的GLThread啟動，創(chuàng)建EGL環(huán)境后回調(diào)VideoDumpRenderer中的onSurfaceCreated()。

519        public void onSurfaceCreated(GL10 glUnused, EGLConfig config) {
...
551            // Create our texture. This has to be done each time the surface is created.
552            int[] textures = new int[1];
553            GLES20.glGenTextures(1, textures, 0);
554
555            mTextureID = textures[0];
556            GLES20.glBindTexture(GL_TEXTURE_EXTERNAL_OES, mTextureID);
...
575            mSurface = new SurfaceTexture(mTextureID);
576            mSurface.setOnFrameAvailableListener(this);
577
578            Surface surface = new Surface(mSurface);
579            mMediaPlayer.setSurface(surface);

這里，首先通過GLES創(chuàng)建GL的外部紋理。外部紋理說明它的真正內(nèi)容是放在ion分配出來的系統(tǒng)物理內(nèi)存中，而不是GPU中，GPU中只是維護了其元數(shù)據(jù)。接著根據(jù)前面創(chuàng)建的GL紋理對象創(chuàng)建SurfaceTexture。流程如下：

SurfaceTexture的參數(shù)為GLES接口函數(shù)glGenTexture()得到的紋理對象id。在初始化函數(shù)SurfaceTexture_init()中，先創(chuàng)建GLConsumer和相應(yīng)的BufferQueue，再將它們的指針通過JNI放到SurfaceTexture的Java層對象成員中。

230static void SurfaceTexture_init(JNIEnv* env, jobject thiz, jboolean isDetached,
231        jint texName, jboolean singleBufferMode, jobject weakThiz)
232{
...
235    BufferQueue::createBufferQueue(&producer, &consumer);
...
242    sp<GLConsumer> surfaceTexture;
243    if (isDetached) {
244        surfaceTexture = new GLConsumer(consumer, GL_TEXTURE_EXTERNAL_OES,
245                true, true);
246    } else {
247        surfaceTexture = new GLConsumer(consumer, texName,
248                GL_TEXTURE_EXTERNAL_OES, true, true);
249    }
...
256    SurfaceTexture_setSurfaceTexture(env, thiz, surfaceTexture);
257    SurfaceTexture_setProducer(env, thiz, producer);
...
266    sp<JNISurfaceTextureContext> ctx(new JNISurfaceTextureContext(env, weakThiz,
267            clazz));
268    surfaceTexture->setFrameAvailableListener(ctx);
269    SurfaceTexture_setFrameAvailableListener(env, thiz, ctx);

由于直接的Listener在Java層，而觸發(fā)者在Native層，因此需要從Native層回調(diào)到Java層。這里通過JNISurfaceTextureContext當(dāng)了跳板。JNISurfaceTextureContext的onFrameAvailable()起到了Native和Java的橋接作用：

180void JNISurfaceTextureContext::onFrameAvailable()
...
184        env->CallStaticVoidMethod(mClazz, fields.postEvent, mWeakThiz);

其中的fields.postEvent早在SurfaceTexture_classInit()中被初始化為SurfaceTexture的postEventFromNative()函數(shù)。這個函數(shù)往所在線程的消息隊列中放入消息，異步調(diào)用VideoDumpRenderer的onFrameAvailable()函數(shù)，通知VideoDumpRenderer有新的數(shù)據(jù)到來。 回到onSurfaceCreated()，接下來創(chuàng)建供外部生產(chǎn)者使用的Surface類。Surface的構(gòu)造函數(shù)之一帶有參數(shù)SurfaceTexture。

133    public Surface(SurfaceTexture surfaceTexture) {
...
140            setNativeObjectLocked(nativeCreateFromSurfaceTexture(surfaceTexture));

它實際上是把SurfaceTexture中創(chuàng)建的BufferQueue的Producer接口實現(xiàn)類拿出來后創(chuàng)建了相應(yīng)的Surface類。

135static jlong nativeCreateFromSurfaceTexture(JNIEnv* env, jclass clazz,
136        jobject surfaceTextureObj) {
137    sp<IGraphicBufferProducer> producer(SurfaceTexture_getProducer(env, surfaceTextureObj));
...
144    sp<Surface> surface(new Surface(producer, true));

這樣，Surface為BufferQueue的Producer端，SurfaceTexture中的GLConsumer為BufferQueue的Consumer端。當(dāng)通過Surface繪制時，SurfaceTexture可以通過updateTexImage()來將繪制結(jié)果綁定到GL的紋理中。 回到onSurfaceCreated()函數(shù)，接下來調(diào)用setOnFrameAvailableListener()函數(shù)將VideoDumpRenderer（實現(xiàn)SurfaceTexture.OnFrameAvailableListener接口）作為SurfaceTexture的Listener，因為它要監(jiān)聽內(nèi)容流上是否有新數(shù)據(jù)。接著將SurfaceTexture傳給MediaPlayer，因為這里MediaPlayer是生產(chǎn)者，SurfaceTexture是消費者。后者要接收前者輸出的Video frame。這樣，就通過Observer pattern建立起了一條通知鏈：MediaPlayer -> SurfaceTexture -> VideDumpRenderer。在onFrameAvailable()回調(diào)函數(shù)中，將updateSurface標(biāo)志設(shè)為true，表示有新的圖像到來，需要更新Surface了。為毛不在這兒馬上更新紋理呢，因為當(dāng)前可能不在渲染線程。SurfaceTexture對象可以在任意線程被創(chuàng)建（回調(diào)也會在該線程被調(diào)用），但updateTexImage()只能在含有紋理對象的GL context所在線程中被調(diào)用。因此一般情況下回調(diào)中不能直接調(diào)用updateTexImage()。 與此同時，GLSurfaceView中的GLThread也在運行，它會調(diào)用到VideoDumpRenderer的繪制函數(shù)onDrawFrame()。

372        public void onDrawFrame(GL10 glUnused) {
...
377                if (updateSurface) {
...
380                    mSurface.updateTexImage();
381                    mSurface.getTransformMatrix(mSTMatrix);
382                    updateSurface = false;
...
394            // Activate the texture.
395            GLES20.glActiveTexture(GLES20.GL_TEXTURE0);
396            GLES20.glBindTexture(GL_TEXTURE_EXTERNAL_OES, mTextureID);
...
421            // Draw a rectangle and render the video frame as a texture on it.
422            GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);
...
429                DumpToFile(frameNumber);

這里，通過SurfaceTexture的updateTexImage()將內(nèi)容流中的新圖像轉(zhuǎn)成GL中的紋理，再進行坐標(biāo)轉(zhuǎn)換。綁定剛生成的紋理，畫到屏幕上。整個流程如下：

最后onDrawFrame()調(diào)用DumpToFile()將屏幕上的內(nèi)容倒到文件中。在DumpToFile()中，先用glReadPixels()從屏幕中把像素數(shù)據(jù)存到Buffer中，然后用FileOutputStream輸出到文件。 上面講了SurfaceTexture，下面看看TextureView是如何工作的。還是從例子著手，Android的關(guān)于TextureView的官方文檔(http://developer.android.com/reference/android/view/TextureView.html)給了一個簡潔的例子LiveCameraActivity。它它可以將Camera中的內(nèi)容放在View中進行顯示。在onCreate()函數(shù)中首先創(chuàng)建TextureView，再將Activity(實現(xiàn)了TextureView.SurfaceTextureListener接口)傳給TextureView，用于監(jiān)聽SurfaceTexture準備好的信號。

      protected void onCreate(Bundle savedInstanceState) {
          ...
          mTextureView = new TextureView(this);
          mTextureView.setSurfaceTextureListener(this);
          ...
      }

TextureView的構(gòu)造函數(shù)并不做主要的初始化工作。主要的初始化工作是在getHardwareLayer()中，而這個函數(shù)是在其基類View的draw()中調(diào)用。TextureView重載了這個函數(shù)：

348    HardwareLayer getHardwareLayer() {
...
358            mLayer = mAttachInfo.mHardwareRenderer.createTextureLayer();
359            if (!mUpdateSurface) {
360                // Create a new SurfaceTexture for the layer.
361                mSurface = new SurfaceTexture(false);
362                mLayer.setSurfaceTexture(mSurface);
363            }
364            mSurface.setDefaultBufferSize(getWidth(), getHeight());
365            nCreateNativeWindow(mSurface);
366
367            mSurface.setOnFrameAvailableListener(mUpdateListener, mAttachInfo.mHandler);
368
369            if (mListener != null && !mUpdateSurface) {
370                mListener.onSurfaceTextureAvailable(mSurface, getWidth(), getHeight());
371            }
...
390        applyUpdate();
391        applyTransformMatrix();
392
393        return mLayer;
394    }

因為TextureView是硬件加速層（類型為LAYER_TYPE_HARDWARE），它首先通過HardwareRenderer創(chuàng)建相應(yīng)的HardwareLayer類，放在mLayer成員中。然后創(chuàng)建SurfaceTexture類，具體流程見前文。之后將HardwareLayer與SurfaceTexture做綁定。接著調(diào)用Native函數(shù)nCreateNativeWindow，它通過SurfaceTexture中的BufferQueueProducer創(chuàng)建Surface類。注意Surface實現(xiàn)了ANativeWindow接口，這意味著它可以作為EGL Surface傳給EGL接口從而進行硬件繪制。然后setOnFrameAvailableListener()將監(jiān)聽者mUpdateListener注冊到SurfaceTexture。這樣，當(dāng)內(nèi)容流上有新的圖像到來，mUpdateListener的onFrameAvailable()就會被調(diào)用。然后需要調(diào)用注冊在TextureView中的SurfaceTextureListener的onSurfaceTextureAvailable()回調(diào)函數(shù)，通知TextureView的使用者SurfaceTexture已就緒。整個流程大體如下：

注意這里這里為TextureView創(chuàng)建了DeferredLayerUpdater，而不是像Android 4.4(Kitkat)中返回GLES20TextureLayer。因為Android 5.0(Lollipop)中在App端分離出了渲染線程，并將渲染工作放到該線程中。這個線程還能接收VSync信號，因此它還能自己處理動畫。事實上，這里DeferredLayerUpdater的創(chuàng)建就是通過同步方式在渲染線程中做的。DeferredLayerUpdater，顧名思義，就是將Layer的更新請求先記錄在這，當(dāng)渲染線程真正要畫的時候，再進行真正的操作。其中的setSurfaceTexture()會調(diào)用HardwareLayer的Native函數(shù)nSetSurfaceTexture()將SurfaceTexture中的surfaceTexture成員（類型為GLConsumer）傳給DeferredLayerUpdater，這樣之后要更新紋理時DeferredLayerUpdater就知道從哪里更新了。 前面提到初始化中會調(diào)用onSurfaceTextureAvailable()這個回調(diào)函數(shù)。在它的實現(xiàn)中，TextureView的使用者就可以將準備好的SurfaceTexture傳給數(shù)據(jù)源模塊，供數(shù)據(jù)源輸出之用。如：

      public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) {
          mCamera = Camera.open();
              ...
              mCamera.setPreviewTexture(surface);
              mCamera.startPreview();
              ...
      }

看一下setPreviewTexture()的實現(xiàn)，其中把SurfaceTexture中初始化時創(chuàng)建的GraphicBufferProducer拿出來傳給Camera模塊。

576static void android_hardware_Camera_setPreviewTexture(JNIEnv *env,
577        jobject thiz, jobject jSurfaceTexture)
...
585        producer = SurfaceTexture_getProducer(env, jSurfaceTexture);
...
594    if (camera->setPreviewTarget(producer) != NO_ERROR) {

到這里，一切都初始化地差不多了。接下來當(dāng)內(nèi)容流有新圖像可用，TextureView會被通知到（通過SurfaceTexture.OnFrameAvailableListener接口）。SurfaceTexture.OnFrameAvailableListener是SurfaceTexture有新內(nèi)容來時的回調(diào)接口。TextureView中的mUpdateListener實現(xiàn)了該接口：

755        public void onFrameAvailable(SurfaceTexture surfaceTexture) {
756            updateLayer();
757            invalidate();
758        }

可以看到其中會調(diào)用updateLayer()函數(shù)，然后通過invalidate()函數(shù)申請更新UI。updateLayer()會設(shè)置mUpdateLayer標(biāo)志位。這樣，當(dāng)下次VSync到來時，Choreographer通知App通過重繪View hierachy。在UI重繪函數(shù)performTranversals()中，作為View hierachy的一分子，TextureView的draw()函數(shù)被調(diào)用，其中便會相繼調(diào)用applyUpdate()和HardwareLayer的updateSurfaceTexture()函數(shù)。

138    public void updateSurfaceTexture() {
139        nUpdateSurfaceTexture(mFinalizer.get());
140        mRenderer.pushLayerUpdate(this);
141    }

updateSurfaceTexture()實際通過JNI調(diào)用到android_view_HardwareLayer_updateSurfaceTexture()函數(shù)。在其中會設(shè)置相應(yīng)DeferredLayerUpdater的標(biāo)志位mUpdateTexImage，它表示在渲染線程中需要更新該層的紋理。

前面提到，Android 5.0引入了渲染線程，它是一個更大的topic，超出本文范圍，這里只說相關(guān)的部分。作為背景知識，下面只畫出了相關(guān)的類?？梢钥吹?，ThreadedRenderer作為新的HardwareRenderer替代了Android 4.4中的Gl20Renderer。其中比較關(guān)鍵的是RenderProxy類，需要讓渲染線程干活時就通過這個類往渲染線程發(fā)任務(wù)。RenderProxy中指向的RenderThread就是渲染線程的主體了，其中的threadLoop()函數(shù)是主循環(huán)，大多數(shù)時間它會poll在線程的Looper上等待，當(dāng)有同步請求（或者VSync信號）過來，它會被喚醒，然后處理TaskQueue中的任務(wù)。TaskQueue是RenderTask的隊列，RenderTask代表一個渲染線程中的任務(wù)。如DrawFrameTask就是RenderTask的繼承類之一，它主要用于渲染當(dāng)前幀。而DrawFrameTask中的DeferredLayerUpdater集合就存放著之前對硬件加速層的更新操作申請。

當(dāng)主線程準備好渲染數(shù)據(jù)后，會以同步方式讓渲染線程完成渲染工作。其中會先調(diào)用processLayerUpdate()更新所有硬件加速層中的屬性，繼而調(diào)用到DeferredLayerUpdater的apply()函數(shù)，其中檢測到標(biāo)志位mUpdateTexImage被置位，于是會調(diào)用doUpdateTexImage()真正更新GL紋理和轉(zhuǎn)換坐標(biāo)。

最后，總結(jié)下這幾者的區(qū)別和聯(lián)系。簡單地說，SurfaceView是一個有自己Surface的View。它的渲染可以放在單獨線程而不是主線程中。其缺點是不能做變形和動畫。SurfaceTexture可以用作非直接輸出的內(nèi)容流，這樣就提供二次處理的機會。與SurfaceView直接輸出相比，這樣會有若干幀的延遲。同時，由于它本身管理BufferQueue，因此內(nèi)存消耗也會稍微大一些。TextureView是一個可以把內(nèi)容流作為外部紋理輸出在上面的View。它本身需要是一個硬件加速層。事實上TextureView本身也包含了SurfaceTexture。它與SurfaceView+SurfaceTexture組合相比可以完成類似的功能（即把內(nèi)容流上的圖像轉(zhuǎn)成紋理，然后輸出）。區(qū)別在于TextureView是在View hierachy中做繪制，因此一般它是在主線程上做的（在Android 5.0引入渲染線程后，它是在渲染線程中做的）。而SurfaceView+SurfaceTexture在單獨的Surface上做繪制，可以是用戶提供的線程，而不是系統(tǒng)的主線程或是渲染線程。另外，與TextureView相比，它還有個好處是可以用Hardware overlay進行顯示。

到此這篇關(guān)于Android中SurfaceTexture TextureView SurfaceView GLSurfaceView的區(qū)別的文章就介紹到這了,更多相關(guān)Android SurfaceTexture TextureView SurfaceView GLSurfaceView內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論