1、整個Android的多媒體架構OpenCore
2、Player和Author的詳細介紹
2、 OpenCore和Android其他部分的內建
第一部分 OpenCore概述:
OpenCore 的另外一個常用的稱呼是PacketVideo,它是Android的多媒體核心。事實上,PacketVideo是一家公司的名稱,而OpenCore 是這套多媒體架構的軟體層的名稱。在Android的開發者中間,二者的含義基本相同。對比 Android的其它程式庫,OpenCore的代碼非常龐大,它是一個基于C++的實作,定義了全功能的作業系統移植層,各種基本的功能均被封裝成類的形式,各層次之間的接口多使 用繼承等方式。
OpenCore是一個多媒體的架構,從宏觀上來看,它主要包含了兩大方面的内容:
PVPlayer:提供媒體播放器的功能,完成各種音頻(Audio)、視訊(Video)流的回放 (Playback)功能
PVAuthor:提供媒體流記錄的功能,完成各種音頻(Audio)、視訊(Video)流的以及靜态圖像 捕獲功能
PVPlayer和PVAuthor以SDK的形式提供給開發者,可以在這個SDK之上建構多種應用程式和服務。在移動終端中 常常使用的多媒體應用程式,例如媒體播放器、照相機、錄像機、錄音機等等。
為了更好的組織整體的架構,OpenCore在軟體層次在宏 觀上分成幾個層次:
OSCL:Operating System Compatibility Library (作業系統相容庫),包含了一些作業系統底層的操作,為了更好地在不同作業系統移植。包含了基本資料類型、配置、字元串工具、IO、錯誤處理、線程等内 容,類似一個基礎的C++庫。
PVMF:PacketVideo Multimedia Framework(PV多媒體架構),在架構内實作一個檔案解析(parser)群組成(composer)、編解碼的NODE,也可以繼承其通用的接 口,在使用者層實作一些NODE。
PVPlayer Engine:PVPlayer引擎。
PVAuthor Engine:PVAuthor引擎。
事實上,OpenCore中包含的内容非常多:從播放的角度,PVPlayer的輸入的 (Source)是檔案或者網絡媒體流,輸出(Sink)是音頻視訊的輸出裝置,其基本功能包含了媒體流控 制、檔案解析、音頻視訊流的解碼(Decode)等方面的内容。除了從檔案中播放媒體檔案之外,還包含了與網絡相關的RTSP流(Real Time Stream Protocol,實時流協定)。在媒體流記錄的方面,PVAuthor的輸入的(Source)是照相機、麥克風等裝置,輸出(Sink)是各種檔案, 包含了流的同步、音頻視訊流的編碼(Encode)以及檔案的寫入等功能。
在使用OpenCore的SDK的時候,有可能需要在應用程 序層實作一個擴充卡(Adaptor),然後在擴充卡之上實作具體的功能,對于PVMF的NODE也可以基于通用的接口,在上層實作,以插件的形式使用。
第二部分 OpenCore的代碼結構2.1 代碼結構
以開源Android的代碼為例,OpenCore的代碼 在以下目錄中:external/opencore/。這個目錄是OpenCore的根目錄,其中包含的子目錄如下所示:
android:這裡面是一個上層的庫,它基于PVPlayer和PVAuthor的SDK實作了一個為Android使用的Player和 Author。
baselibs:包含資料結構和線程安全等内容的底層庫
codecs_v2:這是一個内容較多的庫,主要包含編解碼的實作,以及一個OpenMAX的實作
engines:包含 PVPlayer和PVAuthor引擎的實作
extern_libs_v2:包含了khronos的OpenMAX的頭檔案
fileformats:檔案格式的解析(parser)工具
nodes:提供一些PVMF的NODE,主要是編解碼和檔案解析方面 的。
oscl:作業系統相容庫
pvmi: 輸入輸出控制的抽象接口
protocols:主要是與網絡相關的RTSP、RTP、HTTP等協定 的相關内容
pvcommon:pvcommon庫檔案的Android.mk檔案,沒有源檔案。
pvplayer:pvplayer庫檔案的Android.mk檔案,沒有源檔案。
pvauthor:pvauthor庫檔案的 Android.mk檔案,沒有源檔案。
tools_v2:編譯工具以及一些可注冊的子產品。
在 external/opencore/目錄中還有2個檔案,如下所示:
Android.mk:全局的編譯檔案
pvplayer.conf:配置檔案
在external/opencore/的各個子檔案夾中包含了衆多的Android.mk文 件,它們之間還存在着“遞歸”的關系。例如根目錄下的Android.mk,就包含了如下的内容片斷:
include $(PV_TOP)/pvcommon/Android.mk
include $(PV_TOP)/pvplayer/Android.mk
include $(PV_TOP)/pvauthor/Android.mk
這表示了要引用pvcommon,pvplayer和pvauthor等 檔案夾下面的Android.mk檔案。
external/opencore/的各個Android.mk檔案可以按照排列組合進行使 用,将幾個Android.mk内容合并在一個庫當中。
2.2 編譯結構
1.庫的層次關系:在Android的開源 版本中編譯出來的内容,OpenCore編譯出來的各個庫如下所示:
libopencoreauthor.so:OpenCore的 Author庫
libopencorecommon.so:OpenCore底層的公共庫
libopencoredownloadreg.so :下載下傳注冊庫
libopencoredownload.so:下載下傳功能實作庫
libopencoremp4reg.so:MP4注冊庫
libopencoremp4.so:MP4功能實作庫
libopencorenet_support.so:網絡支援庫
libopencoreplayer.so:OpenCore的 Player庫
libopencorertspreg.so:RTSP注冊庫
libopencorertsp.so:RTSP功能實作庫
這些庫的層次關系如下圖所示:
OpenCore的各個庫之間具有如下的關系:
libopencorecommon.so是所有的庫的依賴庫,提供了公共的功能;
libopencoreplayer.so和 libopencoreauthor.so是兩個并立的庫,分别用于回放和記錄,而且這兩個庫是OpenCore對外的接口庫;
libopencorenet_support.so提供網絡支援的功能;
一些功能以插件(Plug-In)的方式放入Player中 使用,每個功能使用兩個庫,一個實作具體功能,一個用于注冊。
2.libopencorecommon.so庫的結構
libopencorecommon.so是整個OpenCore的核心庫,它的編譯控制的檔案的路徑為pvcommon/Android.mk,這個 檔案使用遞歸的方式尋找子檔案:include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//oscl/oscl/osclbase/Android.mk
include $(PV_TOP)//oscl/oscl/osclerror/Android.mk
include $(PV_TOP)//oscl/oscl/osclmemory/Android.mk
include $(PV_TOP)//oscl/oscl/osclutil/Android.mk
include $(PV_TOP)//oscl/pvlogger/Android.mk
include $(PV_TOP)//oscl/oscl/osclproc/Android.mk
include $(PV_TOP)//oscl/oscl/osclio/Android.mk
include $(PV_TOP)//oscl/oscl/osclregcli/Android.mk
include $(PV_TOP)//oscl/oscl/osclregserv/Android.mk
include $(PV_TOP)//oscl/unit_test/Android.mk
include $(PV_TOP)//oscl/oscl/oscllib/Android.mk
include $(PV_TOP)//pvmi/pvmf/Android.mk
include $(PV_TOP)//baselibs/pv_mime_utils/Android.mk
include $(PV_TOP)//nodes/pvfileoutputnode/Android.mk
include $(PV_TOP)//baselibs/media_data_structures/Android.mk
include $(PV_TOP)//baselibs/threadsafe_callback_ao/Android.mk
include $(PV_TOP)//codecs_v2/utilities/colorconvert/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/common/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/common/Android.mk
這些被包含的Android.mk檔案真正指定需要編譯的文 件,這些檔案在Android.mk的目錄及其子目錄中。事實上,在libopencorecommon.so庫中包含了以下内容:
OSCL的所有内容
Pvmf架構部分的内容(pvmi/pvmf/Android.mk)
基礎庫中的一些内容(baselibs)
編解碼的一些内容
檔案輸出的node(nodes/pvfileoutputnode/Android.mk)
從庫的結構中可以看出,最終生成庫的結構與OpenCore的層次關系并非完全重合。 libopencorecommon.so庫中就包含了底層的OSCL的内容、PVMF的架構以及Node和編解碼的工具。
3.libopencoreplayer.so庫的結構
libopencoreplayer.so是用于播放的功能庫,它的編譯控制的檔案的路徑為pvplayer/Android.mk, 它包含了以下的内容:
include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//engines/player/Android.mk
include $(PV_TOP)//codecs_v2/audio/aac/dec/util/getactualaacconfig/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/aac/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_wb/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/common/dec/Android.mk
include $(PV_TOP)//codecs_v2/audio/mp3/dec/Android.mk
include $(PV_TOP)//codecs_v2/utilities/m4v_config_parser/Android.mk
include $(PV_TOP)//codecs_v2/utilities/pv_video_config_parser/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_common/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_queue/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_h264/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_aac/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_amr/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_mp3/Android.mk
include $(PV_TOP)//codecs_v2/omx/factories/omx_m4v_factory/Android.mk
include $(PV_TOP)//codecs_v2/omx/omx_proxy/Android.mk
include $(PV_TOP)//nodes/common/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/plugins/oma1/passthru/Android.mk
include $(PV_TOP)//pvmi/content_policy_manager/plugins/common/Android.mk
include $(PV_TOP)//pvmi/media_io/pvmiofileoutput/Android.mk
include $(PV_TOP)//fileformats/common/parser/Android.mk
include $(PV_TOP)//fileformats/id3parcom/Android.mk
include $(PV_TOP)//fileformats/rawgsmamr/parser/Android.mk
include $(PV_TOP)//fileformats/mp3/parser/Android.mk
include $(PV_TOP)//fileformats/mp4/parser/Android.mk
include $(PV_TOP)//fileformats/rawaac/parser/Android.mk
include $(PV_TOP)//fileformats/wav/parser/Android.mk
include $(PV_TOP)//nodes/pvaacffparsernode/Android.mk
include $(PV_TOP)//nodes/pvmp3ffparsernode/Android.mk
include $(PV_TOP)//nodes/pvamrffparsernode/Android.mk
include $(PV_TOP)//nodes/pvmediaoutputnode/Android.mk
include $(PV_TOP)//nodes/pvomxvideodecnode/Android.mk
include $(PV_TOP)//nodes/pvomxaudiodecnode/Android.mk
include $(PV_TOP)//nodes/pvwavffparsernode/Android.mk
include $(PV_TOP)//pvmi/recognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvamrffrecognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvmp3ffrecognizer/Android.mk
include $(PV_TOP)//pvmi/recognizer/plugins/pvwavffrecognizer/Android.mk
include $(PV_TOP)//engines/common/Android.mk
include $(PV_TOP)//engines/adapters/player/framemetadatautility/Android.mk
include $(PV_TOP)//protocols/rtp_payload_parser/util/Android.mk
include $(PV_TOP)//android/Android.mk
include $(PV_TOP)//android/drm/oma1/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_rtsp/node_registry/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_net_support/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_download/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_download/node_registry/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_mp4/core/Android.mk
include $(PV_TOP)//tools_v2/build/modules/linux_mp4/node_registry/Android.mk
libopencoreplayer.so中包含了以下内 容:
一些解碼工具
檔案的解析器(mp4)
解碼工具對應的Node
player的引擎部分 (engines/player/Android.mk)
為Android的player擴充卡 (android/Android.mk)
識别工具(pvmi/recognizer)
編解碼工具中的OpenMax部分(codecs_v2/omx)
對 應幾個插件Node的注冊
libopencoreplayer.so中的内容較多,其中主要為各個檔案解析器和解碼器,PVPlayer的核心功能在engines/player/Android.mk當中,而android/Android.mk的内容比較特殊,它是在PVPlayer之上建構的一個為Android使用的播放器。
4.libopencoreauthor.so庫的結構
libopencoreauthor.so是用于媒體流記錄的功能庫,它的編譯控制的檔案的路徑為 pvauthor/Android.mk,它包含了以下的内容:
include $(BUILD_SHARED_LIBRARY)
include $(PV_TOP)//engines/author/Android.mk
include $(PV_TOP)//codecs_v2/video/m4v_h263/enc/Android.mk
include $(PV_TOP)//codecs_v2/audio/gsm_amr/amr_nb/enc/Android.mk
include $(PV_TOP)//codecs_v2/video/avc_h264/enc/Android.mk
include $(PV_TOP)//fileformats/mp4/composer/Android.mk
include $(PV_TOP)//nodes/pvamrencnode/Android.mk
include $(PV_TOP)//nodes/pvmp4ffcomposernode/Android.mk
include $(PV_TOP)//nodes/pvvideoencnode/Android.mk
include $(PV_TOP)//nodes/pvavcencnode/Android.mk
include $(PV_TOP)//nodes/pvmediainputnode/Android.mk
include $(PV_TOP)//android/author/Android.mk
libopencoreauthor.so 中包含了以下内容:
一些編碼工具(視訊流H263、H264,音頻流Amr)
檔案的組成器(mp4)
編碼工具對應的Node
表示媒體輸入的Node(nodes/pvmediainputnode/Android.m)
author 的引擎部分(engines/author/Android.mk)
為Android的author擴充卡(android/author/Android.mk)
libopencoreauthor.so 中主要為各個檔案編碼器和檔案組成器,PVAuthor的核心功能在engines/author/Android.mk當中,而android/author/Android.mk 是在PVAuthor之上建構的一個為Android使用的媒體記錄器。
5.其他庫
另外的幾個庫的Android.mk檔案的路徑如下所示:
網絡支援庫libopencorenet_support.so:
tools_v2/build/modules/linux_net_support/core/Android.mk
MP4功能實作庫libopencoremp4.so和注冊庫libopencoremp4reg.so:
tools_v2/build/modules/linux_mp4/core/Android.mk
tools_v2/build/modules/linux_mp4/node_registry/Android.mk
RTSP功能實作庫libopencorertsp.so和注冊庫libopencorertspreg.so:
tools_v2/build/modules/linux_rtsp/core/Android.mk
tools_v2/build/modules/linux_rtsp/node_registry/Android.mk
下載下傳功能實作庫libopencoredownload.so和注冊庫libopencoredownloadreg.so:
tools_v2/build/modules/linux_download/core/Android.mk
tools_v2/build/modules/linux_download/node_registry/Android.mk
第三部分 OpenCore OSCL簡介
OSCL,全稱為 Operating System Compatibility Library (作業系統相容庫),它包含了一些在不同作業系統中移植層的功能,其代碼結構 如下所示:
oscl/oscl
|-- config :配置的宏
|-- makefile
|-- makefile.pv
|-- osclbase :包含基本類型、宏以及一些STL容器類似的功能
|-- osclerror :錯誤處理的功能
|-- osclio :檔案IO和Socket等功能
|-- oscllib : 動态庫接口等功能
|-- osclmemory :記憶體管理、自動指針等功能
|-- osclproc : 線程、多任務通訊等功能
|-- osclregcli :注冊用戶端的功能
|-- osclregserv : 注冊伺服器的功能
`-- osclutil :字元串等基本功能
在oscl的目錄中,一般每一個目錄表示一個子產品。OSCL對應的功能是非常細緻的,幾乎對C語言中每一個細節的功能都進行封裝,并使用了C++的接口提供給上層使用。事實上,OperCore中的PVMF、Engine部分都在使用OSCL,而整個OperCore的調用者也需要使用OSCL。
在OSCL的實作中,很多典型的C語言函數被進行了簡單的封裝,例如:osclutil中與數學相關的功能在oscl_math.inl中被定義成為了内嵌(inline)的函數:
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log(double value)
{
return (double) log(value);
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_log10(double value)
{
return (double) log10(value);
}
OSCL_COND_EXPORT_REF OSCL_INLINE double oscl_sqrt(double value)
{
return (double) sqrt(value);
}
oscl_math.inl檔案又被oscl_math.h所包含,是以其結果是oscl_log()等功能的使用等價于原始的log()等函數。
很多C語言标準庫的句柄都被定義成為了C++類的形式,實作由一些繁瑣,但是複雜性都不是很高。以oscllib為例,其代碼結構如下所示:
oscl/oscl/oscllib/
|-- Android.mk
|-- build
| `-- make
| `-- makefile
`-- src
|-- oscl_library_common.h
|-- oscl_library_list.cpp
|-- oscl_library_list.h
|-- oscl_shared_lib_interface.h
|-- oscl_shared_library.cpp
`-- oscl_shared_library.h
oscl_shared_library.h是提供給上層使用的動态庫的接口功能,它定義的接口如下所示:
class OsclSharedLibrary
{
public:
OSCL_IMPORT_REF OsclSharedLibrary();
OSCL_IMPORT_REF OsclSharedLibrary(const OSCL_String& aPath);
OSCL_IMPORT_REF ~OsclSharedLibrary();
OSCL_IMPORT_REF OsclLibStatus LoadLib(const OSCL_String& aPath);
OSCL_IMPORT_REF OsclLibStatus LoadLib();
OSCL_IMPORT_REF void SetLibPath(const OSCL_String& aPath);
OSCL_IMPORT_REF OsclLibStatus QueryInterface(const OsclUuid& aInterfaceId, OsclAny*& aInterfacePtr);
OSCL_IMPORT_REF OsclLibStatus Close();
OSCL_IMPORT_REF void AddRef();
OSCL_IMPORT_REF void RemoveRef();
}
這些接口顯然都是與庫的加載有關 系的,而在oscl_shared_library.cpp 中其具體的功能是使用dlopen()等函數來實作的。
第四部分 檔案格式處理和編解碼部分簡介
在多媒體方面,檔案格式的處理和編解碼(Codec)是很基礎的兩個方面 的内容。多媒體應用的兩個方面是媒體的播放(PlayBack)和媒體的記錄(Recording)。
在媒體的播放過程中,通常情況是 從對媒體檔案的播放,必要的兩個步驟為檔案的解析和媒體流的解碼。例如對于一個mp4的檔案,其中可能包括AMR和AAC的音頻流,H263、MPEG4 以及AVC(H264)的視訊流,這些流被封裝在3GP的包當中,媒體播放器要做的就是從檔案中将這些流 解析出來,然後對媒體流進行解碼,解碼後的資料才可以播放。
在媒體的記錄過程中,通過涉及到視訊、音頻、圖像的捕獲功能。對于将視訊加 音頻錄制成檔案功能,其過程與播放剛好相反,首先從硬體裝置得到視訊和音頻的媒體流,然後對其進行編碼,編碼号的流還需要被分層次寫入到檔案之中,最終得 到組成好的檔案。
OpenCore有關檔案格式處理和編解碼部分兩部分的内容,分别在目錄fileformats和codecs_v2 當中。這兩部分都屬于基礎性的功能,不涉及具體的邏輯,是以它們被别的子產品調用來使用,例如:建構各種Node。
4.1 檔案格式的處理
由于同時涉及播放檔案和記錄檔案兩種功能,是以OpenCore中的檔案格式處理有兩種類型,一種是parser(解析 器),另一種是composer(組成器)。
fileformats的目錄結構如下所示:fileformats
|-- avi
| `-- parser
|-- common
| `-- parser
|-- id3parcom
| |-- Android.mk
| |-- build
| |-- include
| `-- src
|-- mp3
| `-- parser
|-- mp4
| |-- composer
| `-- parser
|-- rawaac
| `-- parser
|-- rawgsmamr
| `-- parser
`-- wav
`-- parser
目錄包 含各個子目錄中,它們對應的是不同的檔案格式,例如mp3、mp4和wav等。
4.2 編解碼
編解碼部分主要針對Audio和Video,codecs_v2的目錄結構如下所示:
codecs_v2
|-- audio
| |-- aac
| |-- gsm_amr
| |-- mp3
| `-- sbc
|-- omx
| |-- factories
| |-- omx_aac
| |-- omx_amr
| |-- omx_common
| |-- omx_h264
| |-- omx_m4v
| |-- omx_mp3
| |-- omx_proxy
| `-- omx_queue
|-- utilities
| |-- colorconvert
| |-- m4v_config_parser
| `-- pv_video_config_parser
`-- video
|-- avc_h264
`-- m4v_h263
在audio 和video目錄中,對應了針對各種流的子目錄,其中 可能包含dec和enc兩個目錄,分别對應解碼和編碼。video目錄展開後的内容如下所示:
`-- video
|-- avc_h264
| |-- common
| |-- dec
| |-- enc
| `-- patent_disclaimer.txt
`-- m4v_h263
|-- dec
|-- enc
`-- patent_disclaimer.txt
codecs_v2目錄的子目錄omx實作了一個khronos
OpenMAX的功能。OpenMAX是一個多媒體應用程式的架構标準,由NVIDIA公司和Khronos在2006 年推出。OpenMAX IL 1.0(內建層)技術規格定義了媒體元件接口,以便在嵌入式器件的流媒體架構中快速內建加速式編解碼器。
OpenMAX的設計實作可以讓具有硬體編輯碼功能的平台提 供統一的接口和架構,在OpenMAX中可以直接使用硬體加速的進行編解碼乃至輸出的功能,對外保持統一的接口。但是在此處的OpenMAX則是一個純軟體的實作。