天天看點
傳回

Android多媒體開發-- android中OpenMax的實作整體架構

1.android中用openmax來幹啥？

android中的 AwesomePlayer就 是用openmax來做(code)編解碼,其實在openmax接口設計中，他不光能用來當編解碼。通過他的元件可以組成一個完整的播放器，包括 sourc、demux、decode、output。但是為什麼android隻用他來做code呢？我認為有以下幾方面：

1.在整個播放器中，解碼器不得不說是最重要的一部分，而且也是最耗資源的一塊。 如果全靠軟解，直接通過cpu來運算，特别是高清視訊。别的事你就可以啥都不幹了。是以解碼器是最需要硬體提供加速的部分。現在的高清解碼晶片都是主芯 片+DSP結構，解碼的工作都是通過DSP來做，不會在過多的占用主晶片。所有将晶片中DSP硬體編解碼的能力通過openmax标準接口呈現出來，提供 上層播放器來用。我認為這塊是openmax最重要的意義。

2.source 主要是和協定打交道，demux 分解容器部分，大多數的容器格式的分解是不需要通過硬體來支援。隻是ts流這種格式最可能用到硬體的支援。因為ts格式比較特殊，單包的大小太小了，隻有 188位元組。是以也是為什麼現在常見的解碼晶片都會提供硬體ts demux 的支援。

3.音視訊輸出部分video\audio output 這塊和作業系統關系十分緊密。可以看看著名開源播放器vlc。vlc 在mac、linux、Windows都有，功能上差别也不大。是以說他是跨平台的，他跨平台跨在哪？主要的工作量還是在音視訊解碼完之後的輸出子產品。因 為各個系統的圖像渲染和音頻輸出實作方法不同，是以vlc需要針對每個平台實作不同的output。這部分内容放在openmax來顯然不合适。

是以openmax 中硬體抽象的編解碼是最為常用的，也是為什麼android中隻用它來抽象code。

2.android中openmax實作架構

1.上面已經說過了，android系統中隻用openmax來做code，是以android向上抽象了一層OMXCodec，提供給上層播放器用。 播放器中音視訊解碼器mVideosource、mAudiosource都是OMXCodec的執行個體。

2.OMXCodec通過IOMX 依賴binder機制 獲得 OMX服務，OMX服務 才是openmax 在android中 實作。

3. OMX把軟編解碼和硬體編解碼統一看作插件的形式管理起來。  

AwesomePlayer 中有個變量 

  1. OMXClient mClient;  

讓我們看看   OMXClient 

  1. class OMXClient {  
  2. public:  
  3.     OMXClient();  
  4.     status_t connect();  
  5.     void disconnect();  
  6.     sp<IOMX> interface() {  
  7.         return mOMX;  
  8.     }  
  9. private:  
  10.     sp<IOMX> mOMX;  
  11.     OMXClient(const OMXClient &);  
  12.     OMXClient &operator=(const OMXClient &);  
  13. };  

OMXClient 有個IOMX 的變量 mOMX ，這個就是和OMX服務進行binder通訊的。 在 AwesomePlayer 的構造函數中會調用 

  1. CHECK_EQ(mClient.connect(), (status_t)OK);  
  1. status_t OMXClient::connect() {  
  2.     sp<IServiceManager> sm = defaultServiceManager();  
  3.     sp<IBinder> binder = sm->getService(String16("media.player"));  
  4.     sp<IMediaPlayerService> service = interface_cast<IMediaPlayerService>(binder);  
  5.     CHECK(service.get() != NULL);  
  6.     mOMX = service->getOMX();  
  7.     CHECK(mOMX.get() != NULL);  
  8.     if (!mOMX->livesLocally(NULL , getpid())) {  
  9.         ALOGI("Using client-side OMX mux.");  
  10.         mOMX = new MuxOMX(mOMX);  
  11.     }  
  12.     return OK;  
  13. }  
  1. sp<IOMX> MediaPlayerService::getOMX() {  
  2.     Mutex::Autolock autoLock(mLock);  
  3.     if (mOMX.get() == NULL) {  
  4.         mOMX = new OMX;  
  5.     }  
  6.     return mOMX;  
  7. }  

OMXClient::connect函數是通過binder機制 獲得到MediaPlayerService，然後通過MediaPlayerService來建立OMX的執行個體。這樣OMXClient就獲得到了OMX的入口，接下來就可以通過binder機制來獲得OMX提供的服務。 也就是說OMXClient 是android中 openmax 的入口。

在建立音視訊解碼mVideoSource、mAudioSource的時候會把OMXClient中的sp<IOMX> mOMX的執行個體 傳給mVideoSource、mAudioSource來共享使用這個OMX的入口。 也就是說一個AwesomePlayer對應着 一個IOMX 變量，AwesomePlayer中的音視訊解碼器共用這個IOMX變量來獲得OMX服務。

  1. sp<IOMX> interface() {  
  2.       return mOMX;  
  3.   }  
  1. mAudioSource = OMXCodec::Create(  
  2.                 mClient.interface(), mAudioTrack->getFormat(),  
  3.                 false, // createEncoder  
  4.                 mAudioTrack);  
  1. mVideoSource = OMXCodec::Create(  
  2.             mClient.interface(), mVideoTrack->getFormat(),  
  3.             false, // createEncoder  
  4.             mVideoTrack,  
  5.             NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);  

通過上文知道了，每個AwesomePlayer 隻有一個OMX服務的入口，但是AwesomePlayer不一定就隻需要1種解碼器。有可能音視訊都有，或者有很多種。這個時候這些解碼器都需要OMX的服務，也就是OMX那頭需要建立不同的解碼器的元件來對應着AwesomePlayer中不同的code。OMX中非常重要的2個成員就是 OMXMaster 和 OMXNodeInstance。OMX通過這倆個成員來建立和維護不同的openmax 解碼器元件，為AwesomePlayer中不同解碼提供服務。讓我們看看他們是怎麼實作這些工作的。

1. OMX中 OMXNodeInstance 負責建立并維護不同的執行個體，這些執行個體是根據上面需求建立的，以node作為唯一辨別。這樣播放器中每個OMXCodec在OMX服務端都對應有了自己的OMXNodeInstance執行個體。

2.OMXMaster 維護底層軟硬體解碼庫，根據OMXNodeInstance中想要的解碼器來建立解碼實體元件。

接下來我們假設視訊解碼器需要的是AVC，來看看解碼器建立的流程。

(預設走軟解碼)

1.準備工作初始化OMXMaster

OMX構造函數中會進行初始化。

  1. OMXMaster *mMaster;  
  1. OMX::OMX()  
  2.     : mMaster(new OMXMaster),  
  3.       mNodeCounter(0) {  
  4. }  
  1. OMXMaster::OMXMaster()  
  2.     : mVendorLibHandle(NULL) {  
  3.     addVendorPlugin();  
  4.     addPlugin(new SoftOMXPlugin);  
  5. }  

OMXMaster 負責OMX中編解碼器插件管理，軟體解碼和硬體解碼都是 使用OMX标準，挂載plugins的方式來進行管理。 軟解通過 addPlugin(new SoftOMXPlugin);會把這些編解碼器的名字都放在mPluginByComponentName中。 android 預設會提供一系列的軟體解碼器。目前支援這些格式的軟編解碼。

  1. kComponents[] = {  
  2.     { "OMX.google.aac.decoder", "aacdec", "audio_decoder.aac" },  
  3.     { "OMX.google.aac.encoder", "aacenc", "audio_encoder.aac" },  
  4.     { "OMX.google.amrnb.decoder", "amrdec", "audio_decoder.amrnb" },  
  5.     { "OMX.google.amrnb.encoder", "amrnbenc", "audio_encoder.amrnb" },  
  6.     { "OMX.google.amrwb.decoder", "amrdec", "audio_decoder.amrwb" },  
  7.     { "OMX.google.amrwb.encoder", "amrwbenc", "audio_encoder.amrwb" },  
  8.     { "OMX.google.h264.decoder", "h264dec", "video_decoder.avc" },  
  9.     { "OMX.google.h264.encoder", "h264enc", "video_encoder.avc" },  
  10.     { "OMX.google.g711.alaw.decoder", "g711dec", "audio_decoder.g711alaw" },  
  11.     { "OMX.google.g711.mlaw.decoder", "g711dec", "audio_decoder.g711mlaw" },  
  12.     { "OMX.google.h263.decoder", "mpeg4dec", "video_decoder.h263" },  
  13.     { "OMX.google.h263.encoder", "mpeg4enc", "video_encoder.h263" },  
  14.     { "OMX.google.mpeg4.decoder", "mpeg4dec", "video_decoder.mpeg4" },  
  15.     { "OMX.google.mpeg4.encoder", "mpeg4enc", "video_encoder.mpeg4" },  
  16.     { "OMX.google.mp3.decoder", "mp3dec", "audio_decoder.mp3" },  
  17.     { "OMX.google.vorbis.decoder", "vorbisdec", "audio_decoder.vorbis" },  
  18.     { "OMX.google.vpx.decoder", "vpxdec", "video_decoder.vpx" },  
  19.     { "OMX.google.raw.decoder", "rawdec", "audio_decoder.raw" },  
  20.     { "OMX.google.flac.encoder", "flacenc", "audio_encoder.flac" },  
  21. };  

硬體編解碼是通過 addVendorPlugin();加載libstagefrighthw.so.各個晶片平台可以遵循openmax 标準,生成libstagefrighthw.so的庫來提供android應用。

  1. void OMXMaster::addVendorPlugin() {  
  2.     addPlugin("libstagefrighthw.so");  
  3. }  

然後通過dlopen、dlsym來調用庫中的函數。

這部分準備工作是在AwesomePlayer的構造函數中 CHECK_EQ(mClient.connect(), (status_t)OK); 已經完成了。

2.建立mVideoSource

有了上面的OMX，接下來會在AwesomePlayer::initVideoDecoder中建立mVideoSource 執行個體，下面代碼隻保留的主要部分：

  1. status_t AwesomePlayer::initVideoDecoder(uint32_t flags) {  
  2.     ATRACE_CALL();  
  3.     mVideoSource = OMXCodec::Create(  
  4.             mClient.interface(), mVideoTrack->getFormat(),  
  5.             false, // createEncoder  
  6.             mVideoTrack,  
  7.             NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);  
  8.     status_t err = mVideoSource->start();  
  9.     return mVideoSource != NULL ? OK : UNKNOWN_ERROR;  
  10. }  

保留主要部分，去除編碼相關

  1. sp<MediaSource> OMXCodec::Create(  
  2.         const sp<IOMX> &omx,  
  3.         const sp<MetaData> &meta, bool createEncoder,  
  4.         const sp<MediaSource> &source,  
  5.         const char *matchComponentName,  
  6.         uint32_t flags,  
  7.         const sp<ANativeWindow> &nativeWindow) {  
  8.     int32_t requiresSecureBuffers;  
  9.     const char *mime;  
  10.     bool success = meta->findCString(kKeyMIMEType, &mime);  
  11.     CHECK(success);  
  12.     Vector<String8> matchingCodecs;  
  13.     Vector<uint32_t> matchingCodecQuirks;  
  14.     findMatchingCodecs(  
  15.             mime, createEncoder, matchComponentName, flags,  
  16.             &matchingCodecs, &matchingCodecQuirks);  
  17.     sp<OMXCodecObserver> observer = new OMXCodecObserver;  
  18.     IOMX::node_id node = 0;  
  19.     for (size_t i = 0; i < matchingCodecs.size(); ++i) {  
  20.         const char *componentNameBase = matchingCodecs[i].string();  
  21.         uint32_t quirks = matchingCodecQuirks[i];  
  22.         const char *componentName = componentNameBase;  
  23.         AString tmp;  
  24.         status_t err = omx->allocateNode(componentName, observer, &node);  
  25.         if (err == OK) {  
  26.             ALOGV("Successfully allocated OMX node '%s'", componentName);  
  27.             sp<OMXCodec> codec = new OMXCodec(  
  28.                     omx, node, quirks, flags,  
  29.                     createEncoder, mime, componentName,  
  30.                     source, nativeWindow);  
  31.             observer->setCodec(codec);  
  32.             err = codec->configureCodec(meta);  
  33.             if (err == OK) {  
  34.                 if (!strcmp("OMX.Nvidia.mpeg2v.decode", componentName)) {  
  35.                     codec->mFlags |= kOnlySubmitOneInputBufferAtOneTime;  
  36.                 }  
  37.                 return codec;  
  38.             }  
  39.             ALOGV("Failed to configure codec '%s'", componentName);  
  40.         }  
  41.     }  
  42.     return NULL;  
  43. }  

1.根據mVideoTrack傳進來的視訊資訊，查找相比對的解碼器。

  1. bool success = meta->findCString(kKeyMIMEType, &mime);  
  2. findMatchingCodecs(  
  3.            mime, createEncoder, matchComponentName, flags,  
  4.            &matchingCodecs, &matchingCodecQuirks);  

2. 建立OMXCodecObserver 執行個體，OMXCodecObserver功能後續會詳細介紹。建立一個node 并初始化為0.

  1. sp<OMXCodecObserver> observer = new OMXCodecObserver;  
  2.     IOMX::node_id node = 0;  

3. 通過omx入口 依靠binder 機制調用OMX服務中的allocateNode()，這一步把比對得到的解碼器元件名、OMXCodecObserver執行個體和初始化為0的node一并傳入。

  1. status_t err = omx->allocateNode(componentName, observer, &node);  

這個allocateNode 就是文章最開始講的，在OMX那頭建立一個和mVideoSource相比對的解碼執行個體。用node值作為唯一辨別。

讓我們來看看真正的omx中allocateNode做了啥？

  1. status_t OMX::allocateNode(  
  2.         const char *name, const sp<IOMXObserver> &observer, node_id *node) {  
  3.     Mutex::Autolock autoLock(mLock);  
  4.     *node = 0;  
  5.     OMXNodeInstance *instance = new OMXNodeInstance(this, observer);  
  6.     OMX_COMPONENTTYPE *handle;  
  7.     OMX_ERRORTYPE err = mMaster->makeComponentInstance(  
  8.             name, &OMXNodeInstance::kCallbacks,  
  9.             instance, &handle);  
  10.     if (err != OMX_ErrorNone) {  
  11.         ALOGV("FAILED to allocate omx component '%s'", name);  
  12.         instance->onGetHandleFailed();  
  13.         return UNKNOWN_ERROR;  
  14.     }  
  15.     *node = makeNodeID(instance);  
  16.     mDispatchers.add(*node, new CallbackDispatcher(instance));  
  17.     instance->setHandle(*node, handle);  
  18.     mLiveNodes.add(observer->asBinder(), instance);  
  19.     observer->asBinder()->linkToDeath(this);  
  20.     return OK;  
  21. }  

建立一個OMXNodeInstance執行個體。 通過mMaster->makeComponentInstance建立真正解碼器的元件，并通過handle與OMXNodeInstance關聯。 是以說mMaster->makeComponentInstance這裡是建立解碼器元件的核心。會把 mVideoSource需要的解碼器name一直傳遞下去。

  1. OMX_ERRORTYPE OMXMaster::makeComponentInstance(  
  2.         const char *name,  
  3.         const OMX_CALLBACKTYPE *callbacks,  
  4.         OMX_PTR appData,  
  5.         OMX_COMPONENTTYPE **component) {  
  6.     Mutex::Autolock autoLock(mLock);  
  7.     *component = NULL;  
  8.     ssize_t index = mPluginByComponentName.indexOfKey(String8(name));  
  9.     if (index < 0) {  
  10.         return OMX_ErrorInvalidComponentName;  
  11.     }  
  12.     OMXPluginBase *plugin = mPluginByComponentName.valueAt(index);  
  13.     OMX_ERRORTYPE err =  
  14.         plugin->makeComponentInstance(name, callbacks, appData, component);  
  15.     if (err != OMX_ErrorNone) {  
  16.         return err;  
  17.     }  
  18.     mPluginByInstance.add(*component, plugin);  
  19.     return err;  
  20. }  

最開始OMXMaster通過 addPlugin(new SoftOMXPlugin);把支援的軟解碼放在mPluginByComponentName中，在makeComponentInstance中通過上面傳下來的解碼器的name值從mPluginByComponentName找到相對應的plugin，然後調用  plugin->makeComponentInstance(name, callbacks, appData, component); 這裡的plugin 值得就是軟解SoftOMXPlugin 也就是調用了

  1. OMX_ERRORTYPE SoftOMXPlugin::makeComponentInstance(  
  2.         const char *name,  
  3.         const OMX_CALLBACKTYPE *callbacks,  
  4.         OMX_PTR appData,  
  5.         OMX_COMPONENTTYPE **component) {  
  6.     ALOGV("makeComponentInstance '%s'", name);  
  7.     for (size_t i = 0; i < kNumComponents; ++i) {  
  8.         if (strcmp(name, kComponents[i].mName)) {  
  9.             continue;  
  10.         }  
  11.         AString libName = "libstagefright_soft_";  
  12.         libName.append(kComponents[i].mLibNameSuffix);  
  13.         libName.append(".so");  
  14.         void *libHandle = dlopen(libName.c_str(), RTLD_NOW);  
  15.         if (libHandle == NULL) {  
  16.             ALOGE("unable to dlopen %s", libName.c_str());  
  17.             return OMX_ErrorComponentNotFound;  
  18.         }  
  19.         typedef SoftOMXComponent *(*CreateSoftOMXComponentFunc)(  
  20.                 const char *, const OMX_CALLBACKTYPE *,  
  21.                 OMX_PTR, OMX_COMPONENTTYPE **);  
  22.         CreateSoftOMXComponentFunc createSoftOMXComponent =  
  23.             (CreateSoftOMXComponentFunc)dlsym(  
  24.                     libHandle,  
  25.                     "_Z22createSoftOMXComponentPKcPK16OMX_CALLBACKTYPE"  
  26.                     "PvPP17OMX_COMPONENTTYPE");  
  27.         if (createSoftOMXComponent == NULL) {  
  28.             dlclose(libHandle);  
  29.             libHandle = NULL;  
  30.             return OMX_ErrorComponentNotFound;  
  31.         }  
  32.         sp<SoftOMXComponent> codec =  
  33.             (*createSoftOMXComponent)(name, callbacks, appData, component);  
  34.         if (codec == NULL) {  
  35.             dlclose(libHandle);  
  36.             libHandle = NULL;  
  37.             return OMX_ErrorInsufficientResources;  
  38.         }  
  39.         OMX_ERRORTYPE err = codec->initCheck();  
  40.         if (err != OMX_ErrorNone) {  
  41.             dlclose(libHandle);  
  42.             libHandle = NULL;  
  43.             return err;  
  44.         }  
  45.         codec->incStrong(this);  
  46.         codec->setLibHandle(libHandle);  
  47.         return OMX_ErrorNone;  
  48.     }  
  49.     return OMX_ErrorInvalidComponentName;  
  50. }  

通過上面傳下來的解碼器的name，找到對應庫的名字。假如是264的話，要加載的庫就是 libstagefright_soft_h264dec.so,也就是對應上層264解碼的話，omx解碼元件會加載對應的libstagefright_soft_h264dec.so庫。相對應的軟解代碼在 Android4.1.1\frameworks\av\media\libstagefright\codecs\on2\h264dec 中。 加載完264解碼庫後 通過dlopen、dlsym來調用庫中函數。 通過調用 SoftAVC 中的 createSoftOMXComponent 來建立真正264解碼器執行個體SoftOMXComponent。以後真正視訊解碼的工作都是通過avc 這個SoftAVC執行個體完成的

  1. android::SoftOMXComponent *createSoftOMXComponent(  
  2.         const char *name, const OMX_CALLBACKTYPE *callbacks,  
  3.         OMX_PTR appData, OMX_COMPONENTTYPE **component) {  
  4.     return new android::SoftAVC(name, callbacks, appData, component);  
  5. }  

經過這一路下來，終于完成了解碼器的建立工作。簡單總結一下。 1.AwesomePlayer中通過initVideoDecoder 來建立video解碼器mVideoSource 2.mVideoSource 中通過上部分demux後的視訊流 mVideoTrack來獲得解碼器的類型，通過類型調用omx->allocateNode 建立omx node執行個體與自己對應。以後都是通過node執行個體來操作解碼器。 3.在 omx->allocateNode中 通過mMaster->makeComponentInstance 來建立真正對應的解碼器元件。這個解碼器元件是完成之後解碼實際工作的。

4.在建立mMaster->makeComponentInstance過程中，也是通過上面mVideoTrack 過來的解碼器類型名，找到相對應的解碼器的庫，然後執行個體化。

轉自 http://www.cnblogs.com/shakin/p/4096536.html

openmax android 多媒體
上一篇: spring實作定時任務的兩種方式之spring @scheduled注解方式
下一篇: ThickBox彈出框的使用方法

繼續閱讀