video4linux2筆記

1 主要使用的操作就是open, close, ioctl

2 Querying Capabilities

雖然這是個标準，但不是強制性的，是以不同的裝置對功能的支援不同，是以地提供一個功能查詢機制，而這個功能查詢機制應該是必需的。All V4L2 drivers must support VIDIOC_QUERYCAP. Applications should always call this ioctl after opening the device.

3 video Inputs and Outputs

我們可以通過VIDIOC_ENUMINPUT and VIDIOC_ENUMOUTPUT 分别列舉一個input或者output的資訊，我們使用一個v4l2_input結構體來乘放查詢結果，這個結構體中有一個index域用來指定你索要查詢的是第幾個input/ouput,如果你所查詢的這個input是目前正在使用的，那麼在v4l2_input還會包含一些目前的狀态資訊，如果所查詢的input/output不存在，那麼回傳回EINVAL錯誤，是以，我們通過循環查找，直到傳回錯誤來周遊所有的input/output. VIDIOC_G_INPUT and VIDIOC_G_OUTPUT 傳回目前的video input和output的index.

Video standards

當然世界上現在有多個視訊标準，如NTSC和PAL，他們又細分為好多種，那麼我們的裝置輸入/輸出究竟支援什麼樣的标準呢？我們的目前在使用的輸入和輸出正在使用的是哪個标準呢？我們怎麼設定我們的某個輸入輸出使用的标準呢？這都是有方法的。

查詢，我們的輸入支援什麼标準，首先就得找到目前的這個輸入的index，然後查出它的屬性，在其屬性裡面可以得到該輸入所支援的标準，将它所支援的各個标準與所有的标準的資訊進行比較，就可以獲知所支援的各個标準的屬性。一個輸入所支援的标準應該是一個集合，而這個集合是用bit與的方式使用一個64位數字表示的。是以我們所查到的是一個數字。

Example 1-5. Information about the current video standard

v4l2_std_id std_id; //這個就是個64bit得數

struct v4l2_standard standard;

//VIDIOC_G_STD就是獲得目前輸入使用的standard，不過這裡隻是得到了該标準的id即flag，還沒有得到其具體的屬性資訊，具體的屬性資訊要通過列舉操作來得到。

if (-1 == ioctl (fd, VIDIOC_G_STD, &std_id)) { //獲得了目前輸入使用的standard

perror (“VIDIOC_G_STD”);

exit (EXIT_FAILURE);

}

memset (&standard, 0, sizeof (standard));

standard.index = 0; //從第一個開始列舉

//VIDIOC_ENUMSTD用來列舉所支援的所有的video标準的資訊，不過要先給standard結構的index域制定一個數值，所列舉的标準的資訊屬性包含在standard裡面，如果我們所列舉的标準和std_id有共同的bit，那麼就意味着這個标準就是目前輸入所使用的标準，這樣我們就得到了目前輸入使用的标準的屬性資訊

while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard)) {

if (standard.id & std_id) {

printf (“Current video standard: %s/n”, standard.name);

exit (EXIT_SUCCESS);

}

standard.index++;

}

if (errno == EINVAL || standard.index == 0) {

perror (“VIDIOC_ENUMSTD”);

exit (EXIT_FAILURE);

}

Example 1-6. Listing the video standards supported by the current input

struct v4l2_input input;

struct v4l2_standard standard;

memset (&input, 0, sizeof (input));

//首先獲得目前輸入的index,注意隻是index，要獲得具體的資訊，就的調用列舉操作

if (-1 == ioctl (fd, VIDIOC_G_INPUT, &input.index)) {

perror (“VIDIOC_G_INPUT”);

exit (EXIT_FAILURE);

}

//調用列舉操作，獲得input.index對應的輸入的具體資訊

if (-1 == ioctl (fd, VIDIOC_ENUMINPUT, &input)) {

perror (“VIDIOC_ENUM_INPUT”);

exit (EXIT_FAILURE);

}

printf (“Current input %s supports:/n”, input.name);

memset (&standard, 0, sizeof (standard));

standard.index = 0;

//列舉所有的所支援的standard，如果standard.id與目前input的input.std有共同的bit flag，意味着目前的輸入支援這個standard,這樣将所有驅動所支援的standard列舉一個遍，就可以找到該輸入所支援的所有standard了。

while (0 == ioctl (fd, VIDIOC_ENUMSTD, &standard)) {

if (standard.id & input.std)

printf (“%s/n”, standard.name);

standard.index++;

}

if (errno != EINVAL || standard.index == 0) {

perror (“VIDIOC_ENUMSTD”);

exit (EXIT_FAILURE);

}

Example 1-7. Selecting a new video standard

struct v4l2_input input;

v4l2_std_id std_id;

memset (&input, 0, sizeof (input));

//獲得目前input的index

if (-1 == ioctl (fd, VIDIOC_G_INPUT, &input.index)) {

perror (“VIDIOC_G_INPUT”);

exit (EXIT_FAILURE);

}

//列舉出下标為input.index的input的屬性到input裡

if (-1 == ioctl (fd, VIDIOC_ENUMINPUT, &input)) {

perror (“VIDIOC_ENUM_INPUT”);

exit (EXIT_FAILURE);

}

//如果該input所支援的标準裡不包含V4L2_STD_PAL_BG，就退出

if (0 == (input.std & V4L2_STD_PAL_BG)) {

fprintf (stderr, “Oops. B/G PAL is not supported./n”);

exit (EXIT_FAILURE);

}

std_id = V4L2_STD_PAL_BG;

//如果目前input支援V4L2_STD_PAL_BG，就将其設定為V4L2_STD_PAL_BG

if (-1 == ioctl (fd, VIDIOC_S_STD, &std_id)) {

perror (“VIDIOC_S_STD”);

exit (EXIT_FAILURE);

}

1 User controlls其實就是一些使用者可以用來進行設定的一些屬性，如視訊中的brightness等，video4linux就提取出了最常見的一些設置，給他們配置設定了ID，這樣大家對于這些常見的設定，就是用這些ID就可以了，可以察看目前裝置對該設定的值，也可以給該設定新值，此外，由于某些設定包含很多子設定項，是以就又有了menu的含義，即對于一個具體的control，我們在列舉他的屬性時，發現其類型是包含了menu的，那麼我們就可以以這個control的id為參數，察看其menu及各自的值。當然使用者可以由自定義的control以及extended control。好像是Camera Control ID中就有可以設定focus聚焦的control id，這個可以看一看。

2 Data format 應用是可以和device針對通信的資料進行談判的，即可以設定device所使用的資料的格式，可以獲得裝置所使用的資料的格式，也可以嘗試一下某種格式的資料裝置是否支援。使用 VIDIOC_G_FMT and VIDIOC_S_FMT ioctls，而VIDIOC_TRY_FMT 就是用來試一下某設定是否被裝置支援，而且隻是測試，并不會起作用。我們還是可以用VIDIOC_ENUM_FMT來列舉裝置所支援的所有的image的格式的。關于資料格式，在video中就會涉及到image的格式，大小（寬度，高度），等資訊。

3 crapping和scaling

就是把得到的資料作一定的剪裁，和伸縮，剪裁可以隻取樣我們可以得到的圖像大小的一部分，剪裁的主要參數是位置和長度以及寬度，而scale的設定是通過VIDIOC_G_FMT and VIDIOC_S_FMT 來獲得和設定目前的image的長度，寬度來實作的。

一般操作流程（視訊裝置）：

1. 打開裝置檔案。 int fd=open(”/dev/video0″,O_RDWR);

2. 取得裝置的capability，看看裝置具有什麼功能，比如是否具有視訊輸入,或者音頻輸入輸出等。VIDIOC_QUERYCAP,struct v4l2_capability

3. 選擇視訊輸入，一個視訊裝置可以有多個視訊輸入。VIDIOC_S_INPUT,struct v4l2_input

4. 設定視訊的制式和幀格式，制式包括PAL，NTSC，幀的格式個包括寬度和高度等。

VIDIOC_S_STD,VIDIOC_S_FMT,struct v4l2_std_id,struct v4l2_format

5. 向驅動申請幀緩沖，一般不超過5個。struct v4l2_requestbuffers

6. 将申請到的幀緩沖映射到使用者空間，這樣就可以直接操作采集到的幀了，而不必去複制。mmap

7. 将申請到的幀緩沖全部入隊列，以便存放采集到的資料.VIDIOC_QBUF,struct v4l2_buffer

8. 開始視訊的采集。VIDIOC_STREAMON

9. 出隊列以取得已采集資料的幀緩沖，取得原始采集資料。VIDIOC_DQBUF

10. 将緩沖重新入隊列尾,這樣可以循環采集。VIDIOC_QBUF

11. 停止視訊的采集。VIDIOC_STREAMOFF

12. 關閉視訊裝置。close(fd);

常用的結構體(參見/usr/include/linux/videodev2.h)：

struct v4l2_requestbuffers reqbufs;//向驅動申請幀緩沖的請求，裡面包含申請的個數

struct v4l2_capability cap;//這個裝置的功能，比如是否是視訊輸入裝置

struct v4l2_input input; //視訊輸入

struct v4l2_standard std;//視訊的制式，比如PAL，NTSC

struct v4l2_format fmt;//幀的格式，比如寬度，高度等

struct v4l2_buffer buf;//代表驅動中的一幀

v4l2_std_id stdid;//視訊制式，例如：V4L2_STD_PAL_B

struct v4l2_queryctrl query;//查詢的控制

struct v4l2_control control;//具體控制的值

視訊采集的基本流程

一般的，視訊采集都有如下流程：

打開視訊裝置

在V4L2中，視訊裝置被看做一個檔案。使用open函數打開這個裝置：

// 用非阻塞模式打開攝像頭裝置
int cameraFd;
cameraFd = open("/dev/video0", O_RDWR | O_NONBLOCK, 0);
// 如果用阻塞模式打開攝像頭裝置，上述代碼變為：
//cameraFd = open("/dev/video0", O_RDWR, 0);

關于阻塞模式和非阻塞模式

應用程式能夠使用阻塞模式或非阻塞模式打開視訊裝置，如果使用非阻塞模式調用視訊裝置，即使尚未捕獲到資訊，驅動依舊會把緩存（DQBUFF）裡的東西傳回給應用程式。

設定屬性及采集方式

打開視訊裝置後，可以設定該視訊裝置的屬性，例如裁剪、縮放等。這一步是可選的。在Linux程式設計中，一般使用ioctl函數來對裝置的I/O通道進行管理：

extern int ioctl (int __fd, unsigned long int __request, ...) __THROW;

__fd：裝置的ID，例如剛才用open函數打開視訊通道後傳回的cameraFd；

__request：具體的指令标志符。

在進行V4L2開發中，一般會用到以下的指令标志符：

VIDIOC_REQBUFS：配置設定記憶體
VIDIOC_QUERYBUF：把VIDIOC_REQBUFS中配置設定的資料緩存轉換成實體位址
VIDIOC_QUERYCAP：查詢驅動功能
VIDIOC_ENUM_FMT：擷取目前驅動支援的視訊格式
VIDIOC_S_FMT：設定目前驅動的頻捕獲格式
VIDIOC_G_FMT：讀取目前驅動的頻捕獲格式
VIDIOC_TRY_FMT：驗證目前驅動的顯示格式
VIDIOC_CROPCAP：查詢驅動的修剪能力
VIDIOC_S_CROP：設定視訊信号的邊框
VIDIOC_G_CROP：讀取視訊信号的邊框
VIDIOC_QBUF：把資料從緩存中讀取出來
VIDIOC_DQBUF：把資料放回緩存隊列
VIDIOC_STREAMON：開始視訊顯示函數
VIDIOC_STREAMOFF：結束視訊顯示函數
VIDIOC_QUERYSTD：檢查目前視訊裝置支援的标準，例如PAL或NTSC。

這些IO調用，有些是必須的，有些是可選擇的。

檢查目前視訊裝置支援的标準

使用VIDIOC_QUERYSTD來檢測：

v4l2_std_id std;
do {
  ret = ioctl(fd, VIDIOC_QUERYSTD, &std);
} while (ret == -1 && errno == EAGAIN);
switch (std) {
    case V4L2_STD_NTSC:
        //……
    case V4L2_STD_PAL:
        //……
}

設定視訊捕獲格式

當檢測完視訊裝置支援的标準後，還需要設定視訊捕獲格式：

struct v4l2_format    fmt;
memset ( &fmt, 0, sizeof(fmt) );
fmt.type                = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width       = 720;
fmt.fmt.pix.height      = 576;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
fmt.fmt.pix.field       = V4L2_FIELD_INTERLACED;
if (ioctl(fd, VIDIOC_S_FMT, &fmt) == -1) {
  return -1;
}

v4l2_format結構體定義如下：

struct v4l2_format
{
    enum v4l2_buf_type type;    // 資料流類型，必須永遠是V4L2_BUF_TYPE_VIDEO_CAPTURE
    union
    {
        struct v4l2_pix_format    pix; 
        struct v4l2_window        win; 
        struct v4l2_vbi_format    vbi; 
        __u8    raw_data[200];         
    } fmt;
};
struct v4l2_pix_format
{
    __u32                   width;         // 寬，必須是16的倍數
    __u32                   height;        // 高，必須是16的倍數
    __u32                   pixelformat;   // 視訊資料存儲類型，例如是YUV4：2：2還是RGB
    enum v4l2_field         field;
    __u32                   bytesperline;   
    __u32                   sizeimage;
    enum v4l2_colorspace    colorspace;
    __u32                   priv;      
};

配置設定記憶體

接下來可以為視訊捕獲配置設定記憶體：

struct v4l2_requestbuffers  req;
if (ioctl(fd, VIDIOC_REQBUFS, &req) == -1) {
  return -1;
}

v4l2_requestbuffers定義如下：

struct v4l2_requestbuffers
{
    __u32               count;  // 緩存數量，也就是說在緩存隊列裡保持多少張照片
    enum v4l2_buf_type  type;   // 資料流類型，必須永遠是V4L2_BUF_TYPE_VIDEO_CAPTURE
    enum v4l2_memory    memory; // V4L2_MEMORY_MMAP 或 V4L2_MEMORY_USERPTR
    __u32               reserved[2];
};

擷取并記錄緩存的實體空間

使用VIDIOC_REQBUFS，我們擷取了req.count個緩存，下一步通過調用VIDIOC_QUERYBUF指令來擷取這些緩存的位址，然後使用mmap函數轉換成應用程式中的絕對位址，最後把這段緩存放入緩存隊列

typedef struct VideoBuffer {
    void   *start;
    size_t  length;
} VideoBuffer;

VideoBuffer*          buffers = calloc( req.count, sizeof(*buffers) );
struct v4l2_buffer    buf;

for (numBufs = 0; numBufs < req.count; numBufs++) {
    memset( &buf, 0, sizeof(buf) );
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    buf.index = numBufs;
    // 讀取緩存
    if (ioctl(fd, VIDIOC_QUERYBUF, &buf) == -1) {
        return -1;
    }

    buffers[numBufs].length = buf.length;
    // 轉換成相對位址
    buffers[numBufs].start = mmap(NULL, buf.length,
        PROT_READ | PROT_WRITE,
        MAP_SHARED,
        fd, buf.m.offset);

    if (buffers[numBufs].start == MAP_FAILED) {
        return -1;
    }

    // 放入緩存隊列
    if (ioctl(fd, VIDIOC_QBUF, &buf) == -1) {
        return -1;
    }
}

關于視訊采集方式

作業系統一般把系統使用的記憶體劃分成使用者空間和核心空間，分别由應用程式管理和作業系統管理。應用程式可以直接通路記憶體的位址，而核心空間存放的是供核心通路的代碼和資料，使用者不能直接通路。v4l2捕獲的資料，最初是存放在核心空間的，這意味着使用者不能直接通路該段記憶體，必須通過某些手段來轉換地址。

一共有三種視訊采集方式：使用read、write方式；記憶體映射方式和使用者指針模式。

read、write方式，在使用者空間和核心空間不斷拷貝資料，占用了大量使用者記憶體空間，效率不高。

記憶體映射方式：把裝置裡的記憶體映射到應用程式中的記憶體控件，直接處理裝置記憶體，這是一種有效的方式。上面的mmap函數就是使用這種方式。

使用者指針模式：記憶體片段由應用程式自己配置設定。這點需要在v4l2_requestbuffers裡将memory字段設定成V4L2_MEMORY_USERPTR。

處理采集資料

V4L2有一個資料緩存，存放req.count數量的緩存資料。資料緩存采用FIFO的方式，當應用程式調用緩存資料時，緩存隊列将最先采集到的視訊資料緩存送出，并重新采集一張視訊資料。這個過程需要用到兩個ioctl指令,VIDIOC_DQBUF和VIDIOC_QBUF：

struct v4l2_buffer buf;
memset(&buf,0,sizeof(buf));
buf.type=V4L2_BUF_TYPE_VIDEO_CAPTURE;
buf.memory=V4L2_MEMORY_MMAP;
buf.index=0;

//讀取緩存
if (ioctl(cameraFd, VIDIOC_DQBUF, &buf) == -1)
{
    return -1;
}
//…………視訊處理算法
//重新放入緩存隊列
if (ioctl(cameraFd, VIDIOC_QBUF, &buf) == -1) {

    return -1;
}

關閉視訊裝置

使用close函數關閉一個視訊裝置

close(cameraFd)

video4linux2筆記

繼續閱讀

Apache (You don't have permission to access / on this server.）

debian9更新4.9.0核心到4.19.2核心過程

centOS7 配置 vsftpd 虛拟使用者及權限Vsftpd配置虛拟使用者及權限

linux-svn解除安裝與安裝

vsftp虛拟多使用者多權限一鍵部署腳本

Ubuntu14.04 LTS下安裝mongodb

httpd服務的部署、啟動、配置和簡單優化一、部署二、啟動三、配置檔案

配置網頁内容通路

手動安裝Intel network I217-LM網卡的Linux驅動

禁止ubuntu系統彈出報錯界面

Ubuntu Linux下Apache的配置檔案

samba伺服器的功能

【Linux】UDP廣播封包接收速率問題

Linux裝置模型（中）之上層容器

PowerPC平台 Linux移植三