2010年即将過去，有很多感慨需要總結一下，自從2010年1月份開始着手寫DM6446開發攻略以來，得到很多網友和客戶對本人部落格的支援，同時結識一些有誠意的客戶，他們對本人和我們團隊的認可，在這裡表示感謝。特别是南京航空航天大學的一個非常有個性、有良知和責任的李博導，對本團隊的項目設計速度的贊賞，讓本人非常感動。潛水2個多月沒有更新部落格，多少有點對不住51CTO的關照，在另一款新産品出來前，DM6446開發攻略的2010年最後一篇文章，本人決定從做DAVINCI産品的角度，認真寫好最有價值的視訊處理。DAVINCI産品的視訊驅動和應用，是非常重要的因素，就像LINUX的網絡驅動和應用一樣，沒有網絡，還叫LINUX嗎？DAVINCI沒有視訊處理，還叫DAVINCI嗎？
針對DAVINCI DM6446平台，網絡上也有很多網友寫了V4L2的驅動，但隻是解析Montavista <b>linux-2.6.10</b> V4L2的原理、結構和函數，深度不夠。本文決定把Montavista 的<b>Linux-2.6.18</b> V4L2好好分析一下，順便講解在産品中的應用，滿足一些客戶提出要求，畢竟V4L2是LINUX一個很重要的視訊驅動，适合很多嵌入式晶片平台。本文首先講解DM6446 DAVINCI視訊處理技術的硬體工作原理，然後講解DM6446 V4L2采集驅動和輸出驅動，然後對TI DVSDK2.0裡邊提供的V4L2的例子進行詳細講解，怎樣和驅動配合起來。
第一節 DAVINCI視訊處理硬體
有關DM6446 DAVINCI視訊處理技術，有兩個文檔：VPFE sprue38ec.pdf和VPBE sprue37c.pdf，必須要看看的。下圖是DAVINCI視訊處理技術的框圖，VPSS（視訊處理子系統）包含VPFE和VPBE，VPFE負責前端視訊采集和處理，而VPBE負責後端視訊輸出，通過OSD和VECN直接輸出到DACS（數字轉模拟輸出口，一共4個通道DAC，通過外圍視訊編碼晶片轉換成複合視訊CVBS輸出到普通電視機）或者直接輸出到LCD（DM6446支援RGB24位信号輸出到數字LCD屏，4.3寸，7寸屏等）。
<a href="http://blog.51cto.com/attachment/201012/122612505.jpg" target="_blank"></a>
圖-1 DAVINCI VPSS框圖
從圖-1可以看出，VPFE系統可以接CCD或者CMOS sensor，同時也可以接視訊解碼晶片，目前Montavista Linux-2.6.18驅動給出的TI EVM驅動支援MT9T001 CMOS晶片和TVP5146視訊解碼晶片，VPFE采用RAW模式控制MT9T001 CMOS晶片，數位相機産品基本是這種應用方式，而VPFE采用BT601或BT656的方式控制TVP5146視訊解碼晶片，很多做安防、機器視覺等的方案都是這種模式，因為這種方式最普通，視訊前端買個普通的CCD錄影機，接條視訊線和電源，就可以用通過類似TVP5146的晶片采集到圖像了，本人也着重介紹這種情況。而圖-1裡邊的Resizer（圖像縮放1/4x~4x）、Preview（預覽器）、H3A（硬體自動白平衡、自動對焦、自動曝光）、Histogram（直方圖）是對采集到的視訊進行處理，一般常用到的是Resizer，不需要占用ARM和DSP的資源，對采集到的YUV422資料進行處理，然後才送出給H264等算法進行壓縮，這一點可以在dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡邊的例子展現到。
VPBE系統可以對處理後的視訊（VIDEO）資料或圖像(IMAGE)進行處理和輸出，一般使用者可以通過OSD功能疊加自己的LOGO、字元、時間、坐标、框圖等資訊，然後通過VENC子產品輸出到DAC或者LCD接口。
VPFE和VPBE所有的資料交換都是在DDR上處理，VPFE采集的視訊資料，比如YUV422格式（U0Y0V0Y1）都有指定的DDR位址，而VPBE也有另外指定的DDR位址。
<b>第二節 </b><b>V4L2</b><b>采集驅動</b>
對應上面的硬體處理過程，軟體工程師最關心的是如何配置VPFE和VPBE的寄存器，如何實作DDR的視訊資料視訊緩沖處理，在LINUX核心裡如何實作DMA處理。Montavista 的Linux-2.6.18 V4L2驅動源碼已經幫客戶實作VPFE和VPBE的處理，他們的源碼目錄是linux-2.6.18_pro500\drivers\media\video\和linux-2.6.18_pro500\drivers\media\video\davinci目錄。對于LINUX驅動工程師，首先先按以下三個圖配置Montavista linux-2.6.18_pro500的核心，讓linux-2.6.18_pro500支援V4L2。
<a href="http://blog.51cto.com/attachment/201012/123232363.jpg" target="_blank"></a>
圖-2 配置Multimedia devices
按圖-2選擇Video For Linux，然後進入“Video Capture Adapters”，按圖-3配置DAVINCI視訊采集選項，
<a href="http://blog.51cto.com/attachment/201012/123819600.jpg" target="_blank"></a>
圖-3 配置采集選項
同在一個配置界面，選擇和進入“Encoders and Decoders”，配置VPBE實作視訊輸出處理。
<a href="http://blog.51cto.com/attachment/201012/123831134.jpg" target="_blank"></a>
圖-4 配置VPBE DISPLAY選項
然後再去到驅動driver檔案夾找到相關檔案。
VPFE采集涉及到下面幾個檔案：
ccdc_davinci.c（主要工作把重點放在ccdc_config_ycbcr（）函數上，主要是配置是否采用BT656或BT601，采集視訊的資料格式等）
tvp5146.c（這個就是你闆子外圍視訊采集晶片驅動，一般是I2C通路，有些朋友的項目可以是TVP5150，我們開發闆的是TVP5158，還可以是Techwell的晶片和nextchip的晶片參考TVP5146的驅動，把自己的項目晶片驅動移植過來就OK了）
davinci_vpfe.c（這就是和應用程式打交道的核心程式，和v4l2配合使用，供應用層調用）
VPBE輸出涉及到：
davinci_display.c
davinci_enc_mngr.c
davinci_osd.c
davinci_platform.c
vpbe_encoder.c
V4L2驅動：
在linux-2.6.18_pro500\drivers\media\video目錄裡，
v4l2-common.c
video-buf.c
videodev.c
<b>第三節 </b><b>V4L2</b><b>例子源碼分析</b>
在dvsdk_2_00_00_22\PSP_02_00_00_140\examples\dm644x\v4l2裡，有V4L2應用的例子，裡邊有v4l2_mmap_loopback.c和v4l2_userptr_loopback.c，我們主要分析v4l2_mmap_loopback.c。很多網友介紹LINUX V4L2視訊原理都是從本節開始的，以TVP5146采集晶片為例。
<b>1</b><b>、</b><b>Makefile</b><b>修改</b>
下面的Makefile的内容也适合于其他LINUX應用程式，
# Makefile for v4l2 application
CROSSCOMPILE = arm_v5t_le-
CC=$(CROSSCOMPILE)gcc
LD=$(CROSSCOMPILE)ld
OBJCOPY=$(CROSSCOMPILE)objcopy
OBJDUMP=$(CROSSCOMPILE)objdump
INCLUDE = /home/davinci/dm6446/ty-dm6446-1000/linux-2.6.18_pro500/include
（本人把産品級的linux-2.6.18_pro500放到上面的目錄，ty-dm6446-1000是本人公司深圳桐烨科技的一個DM6446産品）
all: tvp5146_v4l2_mmap
tvp5146_v4l2_mmap: v4l2_mmap_loopback.c
$(CROSSCOMPILE)gcc -Wall -O2 v4l2_mmap_loopback.c -I $(INCLUDE) -o tvp5146_v4l2_mmap
$(CROSSCOMPILE)strip tvp5146_v4l2_mmap
cp -f tvp5146_v4l2_mmap/home/davinci/nfs/tirootfs/opt/app/
（自動COPY到NFS進行調試）
%.o:%.c
$(CC) $(CFLAGS) -c $^
clean:
rm -f *.o *~ core tvp5146_v4l2_mmap
<b>2</b><b>、下面通過分析</b><b>v4l2_mmap_loopback.c</b><b>的源碼，從應用層的角度讨論</b><b>V4L2</b><b>的原理：</b>
#include <stdio.h>
#include <fcntl.h>
#include <string.h>
#include <getopt.h>
#include <stdlib.h>
。。。。。。。。。。。。。。。。。。。。。。。。。。
#include <time.h>
/*以上指向你安裝的linux主機/usr/include*/
#include <linux/fb.h>/*指向Montavista linux-2.6.18\include\linux*/
#include <asm/types.h>/*指向linux-2.6.18\include\asm-arm*/
/* Kernel header file, prefix path comes from makefile */
#include <media/davinci/davinci_vpfe.h>/*指向linux-2.6.18 \include\media\davinci*/
#include <video/davincifb_ioctl.h>/*指向linux-2.6.18 \include\video*/
#include <linux/videodev.h>
#include <linux/videodev2.h>
#include <media/davinci/davinci_display.h>
#include <media/davinci/ccdc_davinci.h>
/* LOCAL DEFINES*/
#define CAPTURE_DEVICE "/dev/video0" 檔案系統中采集驅動用到的裝置節點
#define WIDTH_NTSC 720
#define HEIGHT_NTSC 480 視訊NTSC制式
#define WIDTH_PAL 720
#define HEIGHT_PAL 576 視訊PAL支援
#define MIN_BUFFERS 2 采集時存放YUV視訊資料的緩沖數，做到乒乓BUFFER，
#define UYVY_BLACK 0x10801080無圖像的YUV值處理
/* Device parameters */
#define VID0_DEVICE "/dev/video2"
檔案系統中DISPLAY輸出裝置節點（對照核心驅動davinci_display.c）
#define VID1_DEVICE "/dev/video3"檔案系統中DISPLAY輸出裝置節點
#define OSD0_DEVICE "/dev/fb/0"檔案系統中OSD0裝置節點
#define OSD1_DEVICE "/dev/fb/2"檔案系統中OSD1裝置節點
/* Function error codes */
#define SUCCESS 0
#define FAILURE -1
/* Bits per pixel for video window */
#define YUV_422_BPP 16
#define BITMAP_BPP_8 8
#define DISPLAY_INTERFACE "COMPOSITE"顯示輸出定義複合視訊輸出
#define DISPLAY_MODE_PAL "PAL"顯示輸出定義PAL制輸出
#define DISPLAY_MODE_NTSC "NTSC"顯示輸出定義NTSC制輸出
#define round_32(width) ((((width) + 31) / 32) * 32 ) 位元組對齊
/* Standards and output information */
#define ATTRIB_MODE "mode"
#define ATTRIB_OUTPUT "output"
#define LOOP_COUNT 500 本例子采集多少幀就停止運作（PAL制每秒25幀）
介紹完v4l2_mmap_loopback.c的前面部分的定義，我們可以開始熟悉V4L2，這裡借用網友的描述，順便加入本人的分析。
Video4linux2（簡稱V4L2),是linux中關于視訊裝置的核心驅動。在Linux中，視訊裝置是裝置檔案，可以像通路普通檔案一樣對其進行讀寫，攝像頭在/dev/video0下。
Video4linux2一般操作流程（視訊裝置）：
1. 打開裝置檔案。 int fd=open(”/dev/video0″,O_RDWR);
2. 取得裝置的capability，看看裝置具有什麼功能，比如是否具有視訊輸入等。VIDIOC_QUERYCAP,struct v4l2_capability
3. 選擇視訊輸入，一個視訊裝置可以有多個視訊輸入。VIDIOC_S_INPUT,struct v4l2_input
4. 設定視訊的制式和幀格式，制式包括PAL，NTSC，幀的格式個包括寬度和高度等。
VIDIOC_S_STD,VIDIOC_S_FMT,struct v4l2_std_id,struct v4l2_format
5. 向驅動申請幀緩沖，一般不超過5個。struct v4l2_requestbuffers
6. 将申請到的幀緩沖映射到使用者空間，這樣就可以直接操作采集到的幀了，而不必去複制。
7. 将申請到的幀緩沖全部入隊列，以便存放采集到的資料.VIDIOC_QBUF,struct v4l2_buffer
8. 開始視訊的采集。VIDIOC_STREAMON
9. 出隊列以取得已采集資料的幀緩沖，取得原始采集資料。VIDIOC_DQBUF
10. 将緩沖重新入隊列尾,這樣可以循環采集。VIDIOC_QBUF
11. 停止視訊的采集。VIDIOC_STREAMOFF
12. 關閉視訊裝置。close(fd);
常用的結構體(參見linux-2.6.18_pro500/include/linux/include/linux/videodev2.h)：
struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩沖的請求，裡面包含申請的個數
struct v4l2_capability cap;//這個裝置的功能，比如是否是視訊輸入裝置
struct v4l2_input input; //視訊輸入
struct v4l2_standard std;//視訊的制式，比如PAL，NTSC
struct v4l2_format fmt;//幀的格式，比如寬度，高度等
struct v4l2_buffer buf;//代表驅動中的一幀
v4l2_std_id stdid;//視訊制式，例如：V4L2_STD_PAL
struct v4l2_queryctrl query;//查詢的控制
struct v4l2_control control;//具體控制的值
從main()函數調用vpbe_UE_1（），在vpbe_UE_1（）裡，可以看到采集流程和顯示輸出流程。
<b>3</b><b>、</b><b>V4L2</b><b>采集過程</b>
initialize_capture（）裡初始化采集配置、配置設定采集記憶體緩沖、啟動開始采集。順序調用init_capture_device（）+set_data_format（），init_capture_buffers（），start_streaming（）。
<b>打開視訊裝置</b>
在V4L2中，視訊裝置被看做一個檔案。使用open函數打開這個裝置：
/用非阻塞模式打開采集裝置，見init_capture_device（）函數，fdCapture在本例子中定義為全局變量，
if ((fdCapture = open(CAPTURE_DEVICE, O_RDWR | O_NONBLOCK, 0)) <= -1) {
printf("InitDevice:open::\n");
return -1;
}
如果用阻塞模式打開采集裝置，上述代碼變為：
if ((fdCapture = open(CAPTURE_DEVICE, O_RDWR, 0)) <= -1) {
關于阻塞模式和非阻塞模式，應用程式能夠使用阻塞模式或非阻塞模式打開視訊裝置，如果使用非阻塞模式調用視訊裝置，即使尚未捕獲到資訊，驅動依舊會把緩存（DQBUFF）裡的東西傳回給應用程式。
<b>設定屬性及采集方式</b>
打開視訊裝置後，可以設定該視訊裝置的屬性，例如裁剪、縮放等。這一步是可選的。在Linux程式設計中，一般使用ioctl函數來對裝置的I/O通道進行管理：
extern int ioctl (int __fd, unsigned long int __request, …) __THROW;
__fd：裝置的ID，例如剛才用open函數打開視訊通道後傳回的fdCapture；
__request：具體的指令标志符。
在進行V4L2開發中，一般會用到以下的指令标志符：
1. VIDIOC_REQBUFS：配置設定記憶體
2. VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中配置設定的資料緩存轉換成實體位址
3. VIDIOC_QUERYCAP：查詢驅動功能
4. VIDIOC_ENUM_FMT：擷取目前驅動支援的視訊格式
5. VIDIOC_S_FMT：設定目前驅動的頻捕獲格式
6. VIDIOC_G_FMT：讀取目前驅動的頻捕獲格式
7. VIDIOC_TRY_FMT：驗證目前驅動的顯示格式
8. VIDIOC_CROPCAP：查詢驅動的修剪能力
9. VIDIOC_S_CROP：設定視訊信号的邊框
10. VIDIOC_G_CROP：讀取視訊信号的邊框
11. VIDIOC_QBUF：把資料從緩存中讀取出來
12. VIDIOC_DQBUF：把資料放回緩存隊列
13. VIDIOC_STREAMON：開始視訊顯示函數
14. VIDIOC_STREAMOFF：結束視訊顯示函數
15. VIDIOC_QUERYSTD：檢查目前視訊裝置支援的标準，例如PAL或NTSC。
這些IO調用，有些是必須的，有些是可選擇的。他們可以從在核心中davinci_vpfe.c 裡static int vpfe_doioctl(struct inode *inode, struct file *file,unsigned int cmd, void *arg)函數找到對應關系。
<b>檢查目前視訊裝置支援的标準和設定視訊捕獲格式</b>
在set_data_format()函數裡，檢測完視訊裝置支援的标準後，還需要設定視訊捕獲格式：PAL制還是NTSC制，采集像素格式UYVY，奇偶場交錯方式INTERLACED。
<b>配置設定記憶體</b>
接下來可以為視訊捕獲配置設定記憶體：
在init_capture_buffers（）裡，使用VIDIOC_REQBUFS，我們擷取了req.count個緩存，下一步通過調用VIDIOC_QUERYBUF指令來擷取這些緩存的位址，然後使用mmap函數轉換成應用程式中的絕對位址，最後把這段緩存放入緩存隊列：
// 讀取緩存
if (ioctl(fdCapture, VIDIOC_QUERYBUF, &buf) == -1) {
return -1;
}
buffers[numBufs].length = buf.length;
// 轉換成相對位址
buffers[nIndex].length = buf.length;
buffers[nIndex].start =
mmap(NULL, buf.length, PROT_READ | PROT_WRITE,
MAP_SHARED, fdCapture, buf.m.offset);
<b>啟動開始采集</b>
// 放入緩存隊列
if (ioctl(fdCapture, VIDIOC_QBUF, &buf) == -1) {
}}
/* all done , get set go */
type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
if (-1 == ioctl(fdCapture, VIDIOC_STREAMON, &type))
printf("start_streaming:ioctl:VIDIOC_STREAMON:\n");
<b> </b>
<b>關于視訊采集方式</b>
作業系統一般把系統使用的記憶體劃分成使用者空間和核心空間，分别由應用程式管理和作業系統管理。應用程式可以直接通路記憶體的位址，而核心空間存放的是 供核心通路的代碼和資料，使用者不能直接通路。v4l2捕獲的資料，最初是存放在核心空間的，這意味着使用者不能直接通路該段記憶體，必須通過某些手段來轉換位址。
一共有三種視訊采集方式：使用read、write方式；記憶體映射方式和使用者指針模式。
read、write方式:在使用者空間和核心空間不斷拷貝資料，占用了大量使用者記憶體空間，效率不高。
記憶體映射方式：把裝置裡的記憶體映射到應用程式中的記憶體控件，直接處理裝置記憶體，這是一種有效的方式。上面的mmap函數就是使用這種方式。
使用者指針模式：記憶體片段由應用程式自己配置設定。這點需要在v4l2_requestbuffers裡将memory字段設定成V4L2_MEMORY_USERPTR。
處理采集資料
V4L2有一個資料緩存，存放req.count數量的緩存資料。資料緩存采用FIFO的方式，當應用程式調用緩存資料時，緩存隊列将最先采集到的 視訊資料緩存送出，并重新采集一張視訊資料。這個過程需要用到兩個ioctl指令,VIDIOC_DQBUF和VIDIOC_QBUF：
struct v4l2_buffer buf;
memset(&buf,0,sizeof(buf));
buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory=V4L2_MEMORY_MMAP;
buf.index=0;
//讀取緩存
if (ioctl(fdCapture, VIDIOC_DQBUF, &buf) == -1)
{
//…………視訊處理算法
//重新放入緩存隊列
關閉視訊裝置
使用close函數關閉一個視訊裝置
close(fdCapture)
<b>4</b><b>、</b><b>V4L2</b><b>顯示輸出</b>
配置視訊顯示輸出函數init_vid1_device（），初始化和采集差不多，這裡就不用多解析，這個顯示輸出的例子通過DAC口，把采集的圖像通過LOOPBACK方式，直接輸出到普通電視機或DVD等視訊IN的端口裡，當然你的闆子要有把DM6446 DAC信号通過視訊放大器才能接到電視機上。從start_loop()函數裡，下面的代碼
buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory = V4L2_MEMORY_MMAP;
/* determine ready buffer */
if (-1 == ioctl(fdCapture, VIDIOC_DQBUF, &buf)) {
if (EAGAIN == errno)
continue;
printf("StartCameraCaputre:ioctl:VIDIOC_DQBUF\n");
return -1;
}
/******************* V4L2 display ********************/
displaybuffer = get_display_buffer(fd_vid1);
if (NULL == displaybuffer) {
printf("Error in getting the display buffer:VID1\n");
return ret;
src = buffers[buf.index].start;
dest = displaybuffer;
/* Display image onto requested video window */
for(i=0 ; i < dispheight; i++) {
memcpy(dest, src, disppitch);
src += disppitch;
dest += disppitch;
可以看出LOOPBACK方式的操作memcpy(dest, src, disppitch)，直接把采集的資料(720x576x2)位元組放到視訊輸出緩沖dest，disppitch=1440,，就是一行UYVY的自己是1440。
<b>第四節 </b><b>DVSDK2.0</b><b>有關</b><b>V4L2</b><b>的例子分析</b>
有上面的介紹，我們可以深入學習DM6446 DVSDK2.0有關V4L2的例子。dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡有encode，decode，encodedecode的例子，這些例子全部是應用程式，V4L2的例子函數為capture.c和display.c，他們不像第三節介紹的v4l2_mmap_loopback.c直接跟核心davinci_vpfe.c接口函數打交道，而是通過dmai，即dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\dmai\linux目錄下的源代碼，跟核心davinci_vpfe.c、vpbe_encoder.c打交道，Montavista把核心驅動和VISA調用封裝在一起，dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡的例子就是産品級的例子，帶有H264、MPEG4、G711這些算法的應用。dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\_dmai\linux裡的c檔案就是V4L2和核心對接的源檔案，好好學習這些例子，對大家做DAVINCI嵌入式産品非常有好處，本人也是從這些例子裡學到很多LINUX的東西。
第五節後記
新的産品即将出來，根據一些客戶的要求，我們重新對DM365/DM368進行第2輪PCB設計，我想很快就可以和大家探讨高清的方案，深圳市桐烨科技有限公司專門提供對應硬體平台和産品方案支援，我們專注ARM+DSP的産品方案和項目設計，IVS（智能視訊監控）設計，810MHz的DM6446核心闆将更加滿足算法的要求。同時我們根據客戶的項目需求，以深圳的速度（産品一條龍服務）幫客戶設計産品。
本文轉自 zjb_integrated 51CTO部落格，原文連結：http://blog.51cto.com/zjbintsystem/464729，如需轉載請自行聯系原作者
![GitHub連夜封殺！這份阿裡 10W 字内部 Java 字面試手冊到底有多強？[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)