天天看點

35.FFmpeg+OpenGLES+OpenSLES播放器實作(九.OpenGLES播放視訊)

項目源碼 OpenGL ES 2.0 中文文檔

完整代碼,一切盡在注釋中

extern "C"
JNIEXPORT void JNICALL
Java_com_rzm_ffmpegplayer_FFmpegPlayer_initOpenGL(JNIEnv *env, jobject instance, jstring url_,
                                                  jobject surface) {
    const char *url = env->GetStringUTFChars(url_, 0);

    FILE *fp = fopen(url, "rb");
    if (!fp) {
        LOGE("open file %s failed!", url);
        return;
    }

    /**************************EGL初始化********************************************/

    //1.建立渲染視窗
    ANativeWindow *aNativeWindow = ANativeWindow_fromSurface(env, surface);

    //2.EGL Display建立
    //EGL提供了平台無關類型EGLDisplay表示視窗。定義EGLNativeDisplayType是為了比對原生視窗系統的顯示類型,
    // 對于Windows,EGLNativeDisplayType被定義為HDC,
    // 對于Linux系統,被定義為Display*類型,
    // 對于Android系統,定義為ANativeWindow *類型,
    // 為了友善的将代碼轉移到不同的作業系統上,應該傳入EGL_DEFAULT_DISPLAY,傳回與預設原生視窗的連接配接。
    // 如果連接配接不可用,則傳回EGL_NO_DISPLAY
    EGLDisplay eglDisplay = eglGetDisplay(EGL_DEFAULT_DISPLAY);
    if (eglDisplay == EGL_NO_DISPLAY) {
        LOGE("eglGetDisplay failed%d", eglGetError());
        return;
    }

    //3.初始化Display
    //建立與本地原生視窗的連接配接後需要初始化EGL,使用函數eglInitialize進行初始化操作。如果 EGL 不能初始化,
    // 它将傳回EGL_FALSE,并将EGL錯誤碼設定為EGL_BAD_DISPLAY表示制定了不合法的EGLDisplay,
    // 或者EGL_NOT_INITIALIZED表示EGL不能初始化。使用函數eglGetError用來擷取最近一次調用EGL函數出錯的錯誤代碼

    //參數
    //EGLDisplay display 建立的EGL連接配接
    //EGLint *majorVersion 傳回EGL主機闆版本号
    //EGLint *minorVersion 傳回EGL次版本号
    if (EGL_TRUE != eglInitialize(eglDisplay, 0, 0)) {
        LOGE("eglInitialize failed");
        return;
    }

    //3. surface視窗配置
    //視窗配置有兩種方式:一種方式是使用eglGetConfigs函數擷取底層視窗系統支援的所有EGL表面配置(Config),然後再使用
    // eglGetConfigAttrib依次查詢每個EGLConfig相關的資訊,Config有衆多的Attribute,這些Attribute決定FrameBuffer
    // 的格式和能力,通過eglGetConfigAttrib ()來讀取,但不能修改。EGLConfig包含了渲染表面的所有資訊,包括可用顔色、
    // 緩沖區等其他特性。
    // 另一種方式是指定我們需要的渲染表面配置,讓EGL自己選擇一個符合條件的EGLConfig配置。eglChooseChofig
    // 調用成功傳回EGL_TRUE,失敗時傳回EGL_FALSE,如果attribList包含了未定義的EGL屬性,或者屬性值不合法,
    // EGL代碼被設定為EGL_BAD_ATTRIBUTR

    //Config實際就是FrameBuffer的參數
    EGLConfig eglConfig;

    //attribList參數在EGL函數中可以為null或者指向一組以EGL_NONE結尾的鍵對值
    //通常以id,value依次存放,對于個别辨別性的屬性可以隻有id,沒有value
    EGLint configAttr[] = {
            EGL_RED_SIZE, 8,
            EGL_GREEN_SIZE, 8,
            EGL_BLUE_SIZE, 8,
            EGL_SURFACE_TYPE,
            EGL_WINDOW_BIT,
            EGL_NONE
    };
    EGLint eglConfigNum;

    //參數
    //EGLDisplay dpy 建立的和本地視窗系統的連接配接
    //const EGLint *attrib_list, 指定渲染表面的參數清單,可以為null
    //EGLConfig *configs  調用成功,返會符合條件的EGLConfig清單
    //EGLint config_size, 最多傳回的符合條件的EGLConfig個數
    //EGLint *num_config 實際傳回的符合條件的EGLConfig個數
    if (EGL_TRUE != eglChooseConfig(eglDisplay, configAttr, &eglConfig, 1, &eglConfigNum)) {
        LOGE("eglChooseConfig failed");
        return;
    }

    //4. 建立surface

    // 有了符合條件的EGLConfig後,就可以通過eglCreateWindowSurface函數建立渲染表面。使用這個函數的前提是要使
    // 用原生視窗系統提供的API建立一個視窗。eglCreateWindowSurface中attribList一般可以使用null即可。
    // 函數調用失敗會傳回EGL_NO_SURFACE,并設定對應的錯誤碼

    //使用eglCreateWindowSurface函數建立在視窗上的渲染表面,此外還可以使用eglCreatePbufferSurface建立
    // 螢幕外渲染表面(Pixel Buffer 像素緩沖區)。使用Pbuffer一般用于生成紋理貼圖,不過該功能已經被
    // FrameBuffer替代了,使用幀緩沖對象的好處是所有的操作都由OpenGL ES來控制。使用Pbuffer的方法和前面建立
    // 視窗渲染表面一樣,需要改動的地方是在選取EGLConfig時,增加EGL_SURFACE_TYPE參數使其值包含
    // EGL_PBUFFER_BIT。而該參數預設值為EGL_WINDOW_BIT。
    //EGLSurface eglCreatePbufferSurface( EGLDisplay display, EGLConfig config, EGLint const * attrib_list // 指定像素緩沖區屬性清單 );

    //Surface實際上就是一個FrameBuffer
    EGLSurface eglSurface = eglCreateWindowSurface(eglDisplay, eglConfig, aNativeWindow, 0);
    if (eglSurface == EGL_NO_SURFACE) {
        LOGE("eglCreateWindowSurface failed");
        return;
    }

    //4 建立關聯的上下文

    //使用eglCreateContext為目前的渲染API建立EGL渲染上下文,傳回一個上下文,目前的渲染API是由函數eglBindAPI
    // 設定的。OpenGL ES是一個狀态機,用一系列變量描述OpenGL ES目前的狀态如何運作,我們通常使用如下途徑去更改
    // OpenGL狀态:設定選項,操作緩沖。最後,我們使用目前OpenGL上下文來渲染。比如我想告訴OpenGL ES接下來要繪制
    // 三角形,可以通過一些上下文變量來改變OpenGL ES的狀态,一旦改變了OpenGL ES的狀态為繪制三角形,下一個指令
    // 就會畫出三角形。通過這些狀态設定函數就會改變上下文,接下來的操作總會根據目前上下文的狀态來執行,除非再次
    // 重新改變狀态。

    const EGLint ctxAttr[] = {
            EGL_CONTEXT_CLIENT_VERSION, 2, EGL_NONE
    };
    EGLContext eglContext = eglCreateContext(eglDisplay, eglConfig, EGL_NO_CONTEXT, ctxAttr);
    if (eglContext == EGL_NO_CONTEXT) {
        LOGE("eglCreateContext failed!");
        return;
    }

    //5.指定某個EGLContext為目前上下文。使用eglMakeCurrent函數進行目前上下文的綁定。一個程式可能建立多個EGLContext,
    // 是以需要關聯特定的EGLContext和渲染表面,一般情況下兩個EGLSurface參數設定成一樣的。
    if (EGL_TRUE != eglMakeCurrent(eglDisplay, eglSurface, eglSurface, eglContext)) {
        LOGE("eglMakeCurrent failed!");
        return;
    }

    LOGI("EGL Init Success!");

    /**************************EGL初始化********************************************/

    /**************************shader初始化********************************************/
    //定點shader初始化
    GLint vshader = initShader(vertexShader, GL_VERTEX_SHADER);

    //片元yuv420 shader初始化
    GLint fshader = initShader(fragYUV420P, GL_FRAGMENT_SHADER);
    /**************************shader初始化********************************************/

    /**************************渲染程式初始化********************************************/
    //7.使用OpenGL相關的API進行繪制操作。.....

    //建立渲染程式
    GLint program = glCreateProgram();
    if (program == 0) {
        LOGE("glCreateProgram failed!");
        return;
    }
    //渲染程式中加入着色器代碼
    glAttachShader(program, vshader);
    glAttachShader(program, fshader);

    //連結程式
    glLinkProgram(program);
    GLint status = 0;
    glGetProgramiv(program, GL_LINK_STATUS, &status);
    if (status != GL_TRUE) {
        LOGE("glLinkProgram failed!");
        return;
    }
    glUseProgram(program);
    LOGI("glLinkProgram success!");
    /////////////////////////////////////////////////////////////


    //加入三維頂點資料 兩個三角形組成正方形
    //頂點坐标系描述了GopenGL的繪制範圍,他以繪制中心為原點,在2D圖形下,左邊界為到x -1,右邊界到x 1,上邊界到y 1
    //下邊界到y -1,3D下同樣道理。定點坐标系就是OpenGL的繪制區間
    static float vers[] = {
            1.0f, -1.0f, 0.0f,  //右下
            -1.0f, -1.0f, 0.0f, //左下
            1.0f, 1.0f, 0.0f,   //右上
            -1.0f, 1.0f, 0.0f,  //左上
    };
    GLuint apos = (GLuint) glGetAttribLocation(program, "aPosition");
    glEnableVertexAttribArray(apos);
    //傳遞頂點 取3個資料,跳轉12個位元組位(3個資料)再取另外3個資料,這是實作塊狀資料存儲的關鍵,很多函數裡都有這個參數,通常寫作int stride
    glVertexAttribPointer(apos, 3, GL_FLOAT, GL_FALSE, 12, vers);

    //加入紋理坐标資料
    //紋理坐标的坐标系以紋理左下角為坐标原點,向右為x正軸方向,向上為y軸正軸方向。他的總長度是1。即紋理圖檔的
    // 四個角的坐标分别是:(0,0)、(1,0)、(0,1)、(1,1),分别對應左下、右下、左上、右上四個頂點。
    static float txts[] = {
            1.0f, 0.0f, //右下
            0.0f, 0.0f, //左下
            1.0f, 1.0f, //右上
            0.0, 1.0    //左上
    };
    GLuint atex = (GLuint) glGetAttribLocation(program, "aTexCoord");
    glEnableVertexAttribArray(atex);
    glVertexAttribPointer(atex, 2, GL_FLOAT, GL_FALSE, 8, txts);

    LOGI("glVertexAttribPointer success");
    /**************************渲染程式傳遞資料********************************************/

    /**************************紋理設定********************************************/
    int width = 176;
    int height = 144;

    width = 352;
    height = 288;
    //材質紋理初始化
    //設定紋理層

    //對于紋理第1層
    glUniform1i(glGetUniformLocation(program, "yTexture"), 0);
    //對于紋理第2層
    glUniform1i(glGetUniformLocation(program, "uTexture"), 1);
    //對于紋理第3層
    glUniform1i(glGetUniformLocation(program, "vTexture"), 2);

    //建立opengl紋理
    GLuint texts[3] = {0};
    //建立三個紋理對象
    //在紋理資源使用完畢後(一般是程式退出或場景轉換時),一定要删除紋理對象,釋放資源。
    //glDeleteTextures(Count:Integer;TexObj:Pointer);
    glGenTextures(3, texts);



    //使用glBindTexture将建立的紋理綁定到目前紋理。這樣所有的紋理函數都将針對目前紋理。
    glBindTexture(GL_TEXTURE_2D, texts[0]);
    //設定縮小濾鏡
    /**
     * 第一個參數表明是針對何種紋理進行設定
     * 第二個參數表示要設定放大濾鏡還是縮小濾鏡
     *
     * 在紋理映射的過程中,如果圖元的大小不等于紋理的大小,OpenGL便會對紋理進行縮放以适應圖元的尺寸。
     * 我們可以通過設定紋理濾鏡來決定OpenGL對某個紋理采用的放大、縮小的算法。
     *
     * 第三個參數表示使用的濾鏡
     *
     * 第三個參數可選項如下:
     *
     * GL_NEAREST   取最鄰近像素
     * GL_LINEAR    線性内部插值
     * GL_NEAREST_MIPMAP_NEAREST    最近多貼圖等級的最鄰近像素
     * GL_NEAREST_MIPMAP_LINEAR     在最近多貼圖等級的内部線性插值
     * GL_LINEAR_MIPMAP_NEAREST     在最近多貼圖等級的外部線性插值
     * GL_LINEAR_MIPMAP_LINEAR  在最近多貼圖等級的外部和内部線性插值
     *
     */

    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    //設定放大濾鏡
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    //glTexImage2D函數将Pixels數組中的像素值傳給目前綁定的紋理對象,于是便建立了紋理,Pixels是最後一個參數
    glTexImage2D(
            //紋理的類型
            GL_TEXTURE_2D,
            //紋理的等級 0預設 級的分辨率最大
            0,
            //gpu内部格式 亮度,灰階圖
            GL_LUMINANCE,
            //紋理圖像的寬度和高度 拉升到全屏
            width, height,
            //邊框大小
            0,
            //像素資料的格式 亮度,灰階圖 要與上面一緻
            GL_LUMINANCE,
            //像素值的資料類型
            GL_UNSIGNED_BYTE,
            //紋理的資料(像素資料)
            NULL
    );

    //使用glBindTexture将建立的紋理綁定到目前紋理。這樣所有的紋理函數都将針對目前紋理。
    glBindTexture(GL_TEXTURE_2D, texts[1]);
    //調用glTexParameter來設定紋理濾鏡
    //設定縮小濾鏡
    /**
     * 第一個參數表明是針對何種紋理進行設定
     * 第二個參數表示要設定放大濾鏡還是縮小濾鏡
     * 第三個參數表示使用的濾鏡
     *
     * 第三個參數可選項如下:
     *
     * GL_NEAREST   取最鄰近像素
     * GL_LINEAR    線性内部插值
     * GL_NEAREST_MIPMAP_NEAREST    最近多貼圖等級的最鄰近像素
     * GL_NEAREST_MIPMAP_LINEAR     在最近多貼圖等級的内部線性插值
     * GL_LINEAR_MIPMAP_NEAREST     在最近多貼圖等級的外部線性插值
     * GL_LINEAR_MIPMAP_LINEAR  在最近多貼圖等級的外部和内部線性插值
     *
     * 多貼圖紋理(Mip Mapping)為一個紋理對象生成不同尺寸的圖像。在需要時,根據繪制圖形的大小來決定采用的紋理
     * 等級或者在不同的紋理等級之間進行線性内插。使用多貼圖紋理的好處在于消除紋理躁動。這種情況在所繪制的景物
     * 離觀察者較遠時常常發生(如圖6.6-1和6.6-2)。由于多貼圖紋理現在的渲染速度已經很快,以至于和普通紋理沒有
     * 什麼差別,我們現在一般都使用多貼圖紋理。
     */
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    //設定放大濾鏡
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    //glTexImage2D函數将Pixels數組中的像素值傳給目前綁定的紋理對象,于是便建立了紋理,Pixels是最後一個參數
    glTexImage2D(
            //紋理的類型
            GL_TEXTURE_2D,
            //紋理的等級 0預設 級的分辨率最大
            0,
            //gpu内部格式 亮度,灰階圖
            GL_LUMINANCE,
            //紋理圖像的寬度和高度 拉升到全屏
            width, height,
            //邊框大小
            0,
            //像素資料的格式 亮度,灰階圖 要與上面一緻
            GL_LUMINANCE,
            //像素值的資料類型
            GL_UNSIGNED_BYTE,
            //紋理的資料(像素資料)
            NULL
    );

    //使用glBindTexture将建立的紋理綁定到目前紋理。這樣所有的紋理函數都将針對目前紋理。
    glBindTexture(GL_TEXTURE_2D, texts[2]);
    //縮小的過濾器
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
    glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
    //glTexImage2D函數将Pixels數組中的像素值傳給目前綁定的紋理對象,于是便建立了紋理,Pixels是最後一個參數
    glTexImage2D(
            //紋理的類型
            GL_TEXTURE_2D,
            //紋理的等級 0預設 級的分辨率最大
            0,
            //gpu内部格式 亮度,灰階圖
            GL_LUMINANCE,
            //紋理圖像的寬度和高度 拉升到全屏
            width, height,
            //邊框大小
            0,
            //像素資料的格式 亮度,灰階圖 要與上面一緻
            GL_LUMINANCE,
            //像素值的資料類型
            GL_UNSIGNED_BYTE,
            //紋理的資料(像素資料)
            NULL
    );
    LOGI("glTexImage2D success");


    /**************************紋理設定********************************************/
    unsigned char *buf[3] = {0};
    buf[0] = new unsigned char[width * height];
    buf[1] = new unsigned char[width * height / 4];
    buf[2] = new unsigned char[width * height / 4];

    for (int i = 0; i < 10000; i++) {
        //memset(buf[0],i,width*height);
        // memset(buf[1],i,width*height/4);
        //memset(buf[2],i,width*height/4);

        //420p   yyyyyyyy uu vv
        if (feof(fp) == 0) {
            //yyyyyyyy
            fread(buf[0], 1, width * height, fp);
            fread(buf[1], 1, width * height / 4, fp);
            fread(buf[2], 1, width * height / 4, fp);
        }




        //激活第1層紋理,綁定到建立的opengl紋理
        glActiveTexture(GL_TEXTURE0);
        glBindTexture(GL_TEXTURE_2D, texts[0]);
        //替換紋理内容
        glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, width, height, GL_LUMINANCE, GL_UNSIGNED_BYTE,
                        buf[0]);


        //激活第2層紋理,綁定到建立的opengl紋理
        glActiveTexture(GL_TEXTURE0 + 1);
        glBindTexture(GL_TEXTURE_2D, texts[1]);
        //替換紋理内容
        glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, width / 2, height / 2, GL_LUMINANCE,
                        GL_UNSIGNED_BYTE, buf[1]);

        //激活第2層紋理,綁定到建立的opengl紋理
        glActiveTexture(GL_TEXTURE0 + 2);
        glBindTexture(GL_TEXTURE_2D, texts[2]);
        //替換紋理内容
        glTexSubImage2D(GL_TEXTURE_2D, 0, 0, 0, width / 2, height / 2, GL_LUMINANCE,
                        GL_UNSIGNED_BYTE, buf[2]);



        //三維繪制
        glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);

        //視窗顯示
        eglSwapBuffers(eglDisplay, eglSurface);

    }
    /**************************紋理顯示********************************************/
    LOGI("eglSwapBuffers success");
    env->ReleaseStringUTFChars(url_, url);
}