針對davinci dm6446平台，網絡上也有很多網友寫了v4l2的驅動，但隻是解析montavista <b>linux-2.6.10</b> v4l2的原理、結構和函數，深度不夠。本文決定把montavista 的<b>linux-2.6.18</b> v4l2好好分析一下，順便講解在産品中的應用，滿足一些客戶提出要求，畢竟v4l2是linux一個很重要的視訊驅動，适合很多嵌入式晶片平台。本文首先講解dm6446 davinci視訊處理技術的硬體工作原理，然後講解dm6446 v4l2采集驅動和輸出驅動，然後對ti dvsdk2.0裡邊提供的v4l2的例子進行詳細講解，怎樣和驅動配合起來。
第一節 davinci視訊處理硬體 有關dm6446 davinci視訊處理技術，有兩個文檔：vpfe sprue38ec.pdf和vpbe sprue37c.pdf，必須要看看的。下圖是davinci視訊處理技術的框圖，vpss（視訊處理子系統）包含vpfe和vpbe，vpfe負責前端視訊采集和處理，而vpbe負責後端視訊輸出，通過osd和vecn直接輸出到dacs（數字轉模拟輸出口，一共4個通道dac，通過外圍視訊編碼晶片轉換成複合視訊cvbs輸出到普通電視機）或者直接輸出到lcd（dm6446支援rgb24位信号輸出到數字lcd屏，4.3寸，7寸屏等）。
圖-1 davinci vpss框圖
從圖-1可以看出，vpfe系統可以接ccd或者cmos sensor，同時也可以接視訊解碼晶片，目前montavista linux-2.6.18驅動給出的ti evm驅動支援mt9t001 cmos晶片和tvp5146視訊解碼晶片，vpfe采用raw模式控制mt9t001 cmos晶片，數位相機産品基本是這種應用方式，而vpfe采用bt601或bt656的方式控制tvp5146視訊解碼晶片，很多做安防、機器視覺等的方案都是這種模式，因為這種方式最普通，視訊前端買個普通的ccd錄影機，接條視訊線和電源，就可以用通過類似tvp5146的晶片采集到圖像了，本人也着重介紹這種情況。而圖-1裡邊的resizer（圖像縮放1/4x~4x）、preview（預覽器）、h3a（硬體自動白平衡、自動對焦、自動曝光）、histogram（直方圖）是對采集到的視訊進行處理，一般常用到的是resizer，不需要占用arm和dsp的資源，對采集到的yuv422資料進行處理，然後才送出給h264等算法進行壓縮，這一點可以在dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡邊的例子展現到。 vpbe系統可以對處理後的視訊（video）資料或圖像(image)進行處理和輸出，一般使用者可以通過osd功能疊加自己的logo、字元、時間、坐标、框圖等資訊，然後通過venc子產品輸出到dac或者lcd接口。 vpfe和vpbe所有的資料交換都是在ddr上處理，vpfe采集的視訊資料，比如yuv422格式（u0y0v0y1）都有指定的ddr位址，而vpbe也有另外指定的ddr位址。
<b>第二節 </b><b>v4l2</b><b>采集驅動</b>
對應上面的硬體處理過程，軟體工程師最關心的是如何配置vpfe和vpbe的寄存器，如何實作ddr的視訊資料視訊緩沖處理，在linux核心裡如何實作dma處理。montavista 的linux-2.6.18 v4l2驅動源碼已經幫客戶實作vpfe和vpbe的處理，他們的源碼目錄是linux-2.6.18_pro500\drivers\media\video\和linux-2.6.18_pro500\drivers\media\video\davinci目錄。對于linux驅動工程師，首先先按以下三個圖配置montavista linux-2.6.18_pro500的核心，讓linux-2.6.18_pro500支援v4l2。
圖-2 配置multimedia devices
按圖-2選擇video for linux，然後進入“video capture adapters”，按圖-3配置davinci視訊采集選項，
圖-3 配置采集選項
同在一個配置界面，選擇和進入“encoders and decoders”，配置vpbe實作視訊輸出處理。
<b>第三節 </b><b>v4l2</b><b>例子源碼分析</b>
在dvsdk_2_00_00_22\psp_02_00_00_140\examples\dm644x\v4l2裡，有v4l2應用的例子，裡邊有v4l2_mmap_loopback.c和v4l2_userptr_loopback.c，我們主要分析v4l2_mmap_loopback.c。很多網友介紹linux v4l2視訊原理都是從本節開始的，以tvp5146采集晶片為例。
<b>1</b><b>、</b><b>makefile</b><b>修改</b>
下面的makefile的内容也适合于其他linux應用程式， # makefile for v4l2 application crosscompile = arm_v5t_le- cc=$(crosscompile)gcc ld=$(crosscompile)ld objcopy=$(crosscompile)objcopy objdump=$(crosscompile)objdump include = /home/davinci/dm6446/ty-dm6446-1000/linux-2.6.18_pro500/include （本人把産品級的linux-2.6.18_pro500放到上面的目錄，ty-dm6446-1000是本人公司深圳桐烨科技的一個dm6446産品） all: tvp5146_v4l2_mmap tvp5146_v4l2_mmap: v4l2_mmap_loopback.c $(crosscompile)gcc -wall -o2 v4l2_mmap_loopback.c -i $(include) -o tvp5146_v4l2_mmap $(crosscompile)strip tvp5146_v4l2_mmap cp -f tvp5146_v4l2_mmap/home/davinci/nfs/tirootfs/opt/app/ （自動copy到nfs進行調試） %.o:%.c $(cc) $(cflags) -c $^ clean: rm -f *.o *~ core tvp5146_v4l2_mmap
<b>2</b><b>、下面通過分析</b><b>v4l2_mmap_loopback.c</b><b>的源碼，從應用層的角度讨論</b><b>v4l2</b><b>的原理：</b>
#include <stdio.h> #include <fcntl.h> #include <string.h> #include <getopt.h> #include <stdlib.h> 。。。。。。。。。。。。。。。。。。。。。。。。。。 #include <fcntl.h> #include <time.h> /*以上指向你安裝的linux主機/usr/include*/ #include <linux/fb.h>/*指向montavista linux-2.6.18\include\linux*/ #include <asm/types.h>/*指向linux-2.6.18\include\asm-arm*/ /* kernel header file, prefix path comes from makefile */ #include <media/davinci/davinci_vpfe.h>/*指向linux-2.6.18 \include\media\davinci*/ #include <video/davincifb_ioctl.h>/*指向linux-2.6.18 \include\video*/ #include <linux/videodev.h> #include <linux/videodev2.h> #include <media/davinci/davinci_display.h> #include <media/davinci/ccdc_davinci.h> /* local defines*/
#define capture_device "/dev/video0" 檔案系統中采集驅動用到的裝置節點 #define width_ntsc 720
#define height_ntsc 480 視訊ntsc制式 #define width_pal 720
#define height_pal 576 視訊pal支援 #define min_buffers 2 采集時存放yuv視訊資料的緩沖數，做到乒乓buffer， #define uyvy_black 0x10801080無圖像的yuv值處理 /* device parameters */ #define vid0_device "/dev/video2"
檔案系統中display輸出裝置節點（對照核心驅動davinci_display.c） #define vid1_device "/dev/video3"檔案系統中display輸出裝置節點 #define osd0_device "/dev/fb/0"檔案系統中osd0裝置節點 #define osd1_device "/dev/fb/2"檔案系統中osd1裝置節點 /* function error codes */ #define success 0
#define failure -1
/* bits per pixel for video window */ #define yuv_422_bpp 16 #define bitmap_bpp_8 8
#define display_interface "composite"顯示輸出定義複合視訊輸出 #define display_mode_pal "pal"顯示輸出定義pal制輸出 #define display_mode_ntsc "ntsc"顯示輸出定義ntsc制輸出 #define round_32(width) ((((width) + 31) / 32) * 32 ) 位元組對齊 /* standards and output information */ #define attrib_mode "mode"
#define attrib_output "output"
#define loop_count 500 本例子采集多少幀就停止運作（pal制每秒25幀） 介紹完v4l2_mmap_loopback.c的前面部分的定義，我們可以開始熟悉v4l2，這裡借用網友的描述，順便加入本人的分析。 video4linux2（簡稱v4l2),是linux中關于視訊裝置的核心驅動。在linux中，視訊裝置是裝置檔案，可以像通路普通檔案一樣對其進行讀寫，攝像頭在/dev/video0下。 video4linux2一般操作流程（視訊裝置）： 1. 打開裝置檔案。 int fd=open(”/dev/video0″,o_rdwr); 2. 取得裝置的capability，看看裝置具有什麼功能，比如是否具有視訊輸入等。vidioc_querycap,struct v4l2_capability 3. 選擇視訊輸入，一個視訊裝置可以有多個視訊輸入。vidioc_s_input,struct v4l2_input 4. 設定視訊的制式和幀格式，制式包括pal，ntsc，幀的格式個包括寬度和高度等。 vidioc_s_std,vidioc_s_fmt,struct v4l2_std_id,struct v4l2_format 5. 向驅動申請幀緩沖，一般不超過5個。struct v4l2_requestbuffers 6. 将申請到的幀緩沖映射到使用者空間，這樣就可以直接操作采集到的幀了，而不必去複制。 7. 将申請到的幀緩沖全部入隊列，以便存放采集到的資料.vidioc_qbuf,struct v4l2_buffer 8. 開始視訊的采集。vidioc_streamon 9. 出隊列以取得已采集資料的幀緩沖，取得原始采集資料。vidioc_dqbuf 10. 将緩沖重新入隊列尾,這樣可以循環采集。vidioc_qbuf 11. 停止視訊的采集。vidioc_streamoff 12. 關閉視訊裝置。close(fd); 常用的結構體(參見linux-2.6.18_pro500/include/linux/include/linux/videodev2.h)： struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩沖的請求，裡面包含申請的個數 struct v4l2_capability cap;//這個裝置的功能，比如是否是視訊輸入裝置 struct v4l2_input input; //視訊輸入 struct v4l2_standard std;//視訊的制式，比如pal，ntsc struct v4l2_format fmt;//幀的格式，比如寬度，高度等 struct v4l2_buffer buf;//代表驅動中的一幀 v4l2_std_id stdid;//視訊制式，例如：v4l2_std_pal struct v4l2_queryctrl query;//查詢的控制 struct v4l2_control control;//具體控制的值
從main()函數調用vpbe_ue_1（），在vpbe_ue_1（）裡，可以看到采集流程和顯示輸出流程。
<b>3</b><b>、</b><b>v4l2</b><b>采集過程</b>
initialize_capture（）裡初始化采集配置、配置設定采集記憶體緩沖、啟動開始采集。順序調用init_capture_device（）+set_data_format（），init_capture_buffers（），start_streaming（）。 <b>打開視訊裝置</b> 在v4l2中，視訊裝置被看做一個檔案。使用open函數打開這個裝置： /用非阻塞模式打開采集裝置，見init_capture_device（）函數，fdcapture在本例子中定義為全局變量， if ((fdcapture = open(capture_device, o_rdwr | o_nonblock, 0)) <= -1) { printf("initdevice:open::\n"); return -1; } 如果用阻塞模式打開采集裝置，上述代碼變為： if ((fdcapture = open(capture_device, o_rdwr, 0)) <= -1) { printf("initdevice:open::\n"); return -1; } 關于阻塞模式和非阻塞模式，應用程式能夠使用阻塞模式或非阻塞模式打開視訊裝置，如果使用非阻塞模式調用視訊裝置，即使尚未捕獲到資訊，驅動依舊會把緩存（dqbuff）裡的東西傳回給應用程式。 <b>設定屬性及采集方式</b> 打開視訊裝置後，可以設定該視訊裝置的屬性，例如裁剪、縮放等。這一步是可選的。在linux程式設計中，一般使用ioctl函數來對裝置的i/o通道進行管理： extern int ioctl (int __fd, unsigned long int __request, …) __throw; __fd：裝置的id，例如剛才用open函數打開視訊通道後傳回的fdcapture； __request：具體的指令标志符。 在進行v4l2開發中，一般會用到以下的指令标志符： 1. vidioc_reqbufs：配置設定記憶體 2. vidioc_querybuf：把vidioc_reqbufs中配置設定的資料緩存轉換成實體位址 3. vidioc_querycap：查詢驅動功能 4. vidioc_enum_fmt：擷取目前驅動支援的視訊格式 5. vidioc_s_fmt：設定目前驅動的頻捕獲格式 6. vidioc_g_fmt：讀取目前驅動的頻捕獲格式 7. vidioc_try_fmt：驗證目前驅動的顯示格式 8. vidioc_cropcap：查詢驅動的修剪能力 9. vidioc_s_crop：設定視訊信号的邊框 10. vidioc_g_crop：讀取視訊信号的邊框 11. vidioc_qbuf：把資料從緩存中讀取出來 12. vidioc_dqbuf：把資料放回緩存隊列 13. vidioc_streamon：開始視訊顯示函數 14. vidioc_streamoff：結束視訊顯示函數 15. vidioc_querystd：檢查目前視訊裝置支援的标準，例如pal或ntsc。 這些io調用，有些是必須的，有些是可選擇的。他們可以從在核心中davinci_vpfe.c 裡static int vpfe_doioctl(struct inode *inode, struct file *file,unsigned int cmd, void *arg)函數找到對應關系。 <b>檢查目前視訊裝置支援的标準和設定視訊捕獲格式</b> 在set_data_format()函數裡，檢測完視訊裝置支援的标準後，還需要設定視訊捕獲格式：pal制還是ntsc制，采集像素格式uyvy，奇偶場交錯方式interlaced。 <b>配置設定記憶體</b> 接下來可以為視訊捕獲配置設定記憶體： 在init_capture_buffers（）裡，使用vidioc_reqbufs，我們擷取了req.count個緩存，下一步通過調用vidioc_querybuf指令來擷取這些緩存的位址，然後使用mmap函數轉換成應用程式中的絕對位址，最後把這段緩存放入緩存隊列： // 讀取緩存 if (ioctl(fdcapture, vidioc_querybuf, &buf) == -1) { return -1; } buffers[numbufs].length = buf.length; // 轉換成相對位址 buffers[nindex].length = buf.length; buffers[nindex].start = mmap(null, buf.length, prot_read | prot_write, map_shared, fdcapture, buf.m.offset); <b>啟動開始采集</b> // 放入緩存隊列 if (ioctl(fdcapture, vidioc_qbuf, &buf) == -1) { return -1; }} /* all done , get set go */ type = v4l2_buf_type_video_capture; if (-1 == ioctl(fdcapture, vidioc_streamon, &type)) printf("start_streaming:ioctl:vidioc_streamon:\n"); <b> </b> <b>關于視訊采集方式</b> 作業系統一般把系統使用的記憶體劃分成使用者空間和核心空間，分别由應用程式管理和作業系統管理。應用程式可以直接通路記憶體的位址，而核心空間存放的是 供核心通路的代碼和資料，使用者不能直接通路。v4l2捕獲的資料，最初是存放在核心空間的，這意味着使用者不能直接通路該段記憶體，必須通過某些手段來轉換位址。 一共有三種視訊采集方式：使用read、write方式；記憶體映射方式和使用者指針模式。 read、write方式:在使用者空間和核心空間不斷拷貝資料，占用了大量使用者記憶體空間，效率不高。 記憶體映射方式：把裝置裡的記憶體映射到應用程式中的記憶體控件，直接處理裝置記憶體，這是一種有效的方式。上面的mmap函數就是使用這種方式。 使用者指針模式：記憶體片段由應用程式自己配置設定。這點需要在v4l2_requestbuffers裡将memory字段設定成v4l2_memory_userptr。 處理采集資料 v4l2有一個資料緩存，存放req.count數量的緩存資料。資料緩存采用fifo的方式，當應用程式調用緩存資料時，緩存隊列将最先采集到的 視訊資料緩存送出，并重新采集一張視訊資料。這個過程需要用到兩個ioctl指令,vidioc_dqbuf和vidioc_qbuf： struct v4l2_buffer buf; memset(&buf,0,sizeof(buf)); buf.type=v4l2_buf_type_video_capture; buf.memory=v4l2_memory_mmap; buf.index=0; //讀取緩存 if (ioctl(fdcapture, vidioc_dqbuf, &buf) == -1) { return -1; } //…………視訊處理算法 //重新放入緩存隊列 if (ioctl(fdcapture, vidioc_qbuf, &buf) == -1) { return -1; } 關閉視訊裝置 使用close函數關閉一個視訊裝置 close(fdcapture)
<b>4</b><b>、</b><b>v4l2</b><b>顯示輸出</b>
配置視訊顯示輸出函數init_vid1_device（），初始化和采集差不多，這裡就不用多解析，這個顯示輸出的例子通過dac口，把采集的圖像通過loopback方式，直接輸出到普通電視機或dvd等視訊in的端口裡，當然你的闆子要有把dm6446 dac信号通過視訊放大器才能接到電視機上。從start_loop()函數裡，下面的代碼 buf.type = v4l2_buf_type_video_capture; buf.memory = v4l2_memory_mmap; /* determine ready buffer */ if (-1 == ioctl(fdcapture, vidioc_dqbuf, &buf)) { if (eagain == errno) continue; printf("startcameracaputre:ioctl:vidioc_dqbuf\n"); return -1; } /******************* v4l2 display ********************/ displaybuffer = get_display_buffer(fd_vid1); if (null == displaybuffer) { printf("error in getting the display buffer:vid1\n"); return ret; } src=\'#\'" /span> dest = displaybuffer; /* display image onto requested video window */ for(i=0 ; i < dispheight; i++) { memcpy(dest, src, disppitch); src += disppitch; dest += disppitch; } 可以看出loopback方式的操作memcpy(dest, src, disppitch)，直接把采集的資料(720x576x2)位元組放到視訊輸出緩沖dest，disppitch=1440,，就是一行uyvy的自己是1440。
<b>第四節 </b><b>dvsdk2.0</b><b>有關</b><b>v4l2</b><b>的例子分析</b>
有上面的介紹，我們可以深入學習dm6446 dvsdk2.0有關v4l2的例子。dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡有encode，decode，encodedecode的例子，這些例子全部是應用程式，v4l2的例子函數為capture.c和display.c，他們不像第三節介紹的v4l2_mmap_loopback.c直接跟核心davinci_vpfe.c接口函數打交道，而是通過dmai，即dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\dmai\linux目錄下的源代碼，跟核心davinci_vpfe.c、vpbe_encoder.c打交道，montavista把核心驅動和visa調用封裝在一起，dvsdk_2_00_00_22\dvsdk_demos_2_00_00_07\dm6446裡的例子就是産品級的例子，帶有h264、mpeg4、g711這些算法的應用。dvsdk_2_00_00_22\dmai_1_20_00_06\packages\ti\sdo\_dmai\linux裡的c檔案就是v4l2和核心對接的源檔案，好好學習這些例子，對大家做davinci嵌入式産品非常有好處，本人也是從這些例子裡學到很多linux的東西。
第五節後記 新的産品即将出來，根據一些客戶的要求，我們重新對dm365/dm368進行第2輪pcb設計，我想很快就可以和大家探讨高清的方案，深圳市桐烨科技有限公司專門提供對應硬體平台和産品方案支援，我們專注arm+dsp的産品方案和項目設計，ivs（智能視訊監控）設計，810mhz的dm6446核心闆将更加滿足算法的要求。同時我們根據客戶的項目需求，以深圳的速度（産品一條龍服務）幫客戶設計産品。