天天看點

一些Camera相關概念整理

一些Camera相關概念整理

一些Camera相關概念,你可能聽過,但可能沒了解過,内容為網絡資源整理~~

1) 人眼特性

2) 幀、場 

3) BLC(Black level correction) 

4) Binning 

5) Video Size 

6) 防紅眼中的紅眼 

7) 色調映射

8) 一些光源的名稱 

9) 什麼是3D sensing?

10) 慢鏡頭視訊 

11) 超高速攝像頭凝時拍攝 

12) 圖像分割

13) 平坦區 

14) 紋理區 

15) 清晰邊緣

16) Bayer CFA 

17) Distortion 

18) Artifacts 

19) CIE1931

20) 色彩偏移

21) 枯葉圖

一、人眼特性

97 million rods(杆細胞)

4.6 million cones(錐細胞)

1 million 節細胞 100w節細胞

一些Camera相關概念整理

視網膜裡有大約1.25億個視杆細胞和視錐細胞,它們扮演感光器的角色。

其中視杆細胞的數量是視錐細胞的18倍之多。

視杆細胞對弱光敏感(可感受到一個光子),主要負責在昏暗環境中産生暗視覺,但隻能辨識明暗,不能分辨物體的細節和顔色。97 million rods(杆細胞)

視錐細胞感受強光和顔色,産生明視覺,對物體細節和顔色分辨力強,我們能夠讀書看報,視錐細胞功不可沒。4.6 million cones(錐細胞)

視杆細胞和視錐細胞接收到的資訊随後被傳送給視網膜上的近100萬個節細胞。

這些節細胞将來自視杆細胞和視錐細胞的資訊通過視神經發送到大腦。

視錐細胞有 3種,分别含有對紅、綠、藍3種光敏感的感光色素。

色光引起色覺,這是一種複雜的實體和心理現象。

根據三原色學說解釋色覺的機制認為:不同的色光作用于視網膜時,3種視錐細胞産生了不同程度的興奮,這樣興奮資訊經處理後轉化為不同組合的視神經沖動,

傳到大腦皮層就産生不同的色覺。

例如紅、綠、藍3種視錐細胞興奮程度的比例為4:1:0時,産生紅色色覺;比例為2:8:1時,産生綠色色覺。

人眼可分辨波長在380~760nm約150種顔色,

但某些人多由于遺傳因素,缺乏相應的視錐細胞,不能辨識某些顔色,稱為色盲。

如缺乏感受紅光或綠光的視錐細胞,不辨紅綠,稱為紅綠色盲。

有些人多由于健康或營養不佳,辨色能力較差,稱為色弱。

二、幀、場

活動電視圖像是由一幅一幅連續的且内容變化不大的靜止圖像組成的。

其中一幅靜止的圖像在電視技術上稱為“一幀”。

為了保證收看圖像時不閃爍,根據人眼的視覺暫留特點(先前出現在人眼的圖像在圖像消失後會保留一段時間),要求每秒傳送的連續圖像達到25幀。

在電視傳輸技術中,為了進一步提高傳輸品質,又将一幀圖像分成兩幅來傳,這時候的一幅就叫做“一場”了。

三、BLC(Black level correction)

模拟信号很微弱時,有可能不被 A/D 轉換出來,導緻光線很暗時,圖像細節丢失。

是以,Sesnor 會在 A/D 轉換前,給模拟信号一個固定的偏移量,保證輸出的數字信号保留更多的圖像細節。

黑電平校正子產品就是通過标定的方式,确定這個偏移量的具體值。後續的 ISP 處理子產品,需要先減掉該偏移值,才能保證資料的線性一緻性。

四、Binning​

Camera Binning Mode:像素合并模式,将相鄰的像素單元電荷通過實體的方法疊加在一起作為一個像素輸出信号

水準方向Binning: 同列相鄰行的電荷疊加;

垂直方向Binning: 同行相鄰列的電荷疊加;

  1)Binning Mode 優勢:

增加感光面積,提高暗處對光感應的靈敏度;應用:增加實體感光像素單元,采用像素合并模式,提升暗處對光感應的靈敏度;

  2)Binning Mode 劣勢:

降低輸出分辨率;

五、Video Size

1)FHD Video: 1920 * 1080 -16:9 30 fps

2)HD Video: 1280 * 720 -16:9 60 fps

3) VGA Video: 640 * 480 -4:3 120 fps

4) 4K 視訊拍攝 3840x2160 30fps

5) 1080p 視訊拍攝 1920x1080 30fps

6) 720p 視訊拍攝 1280x720 30fps

7) 480p 視訊拍攝 720x480 30fps

8) 慢動作視訊, 720p 120fps

一些Camera相關概念整理

舉個例子,水準視場角120度的行車記錄儀,720P最遠可拍清楚5.5米距離的車牌,大概一個車身的距離。

而1080P則可拍清楚8.3米的車牌,大概1個半車身的距離。而1296P則可拍清楚10米遠外的車牌,約為2個車身的距離。

1、720P和1080P的差別僅為分辨率的上的差別。

2、1080P的畫面分辨率為:1920x1080

3、720P的畫面分辨率為:1280x720

4、720P中的“720”指的是畫面分辨率,“P”指的是逐行掃描。一般的幀率有60幀,30幀,25幀,24幀。

一些Camera相關概念整理

以下是幾種常見的掃描格式:

D1為480i格式,和NTSC模拟電視清晰度相同,525條垂直掃描線,480條可見垂直掃描線,4:3 或16:9,隔行/60Hz,行頻為15.25KHz。

D2為480P格式,和逐行掃描DVD規格相同,525條垂直掃描線,480條可見垂直掃描線4:3 或 16:9,分辨率為640×480,逐行/60Hz,行頻為31.5KHz。

D3為1080i格式,是标準數字電視顯示模式,1125條垂直掃描線,1080條可見垂直掃描線16:9,分辨率為1920×1080,隔行/60Hz,行頻為33.75KHz。

D4為 720p格式,是标準數字電視顯示模式,750條垂直掃描線,720條可見垂直掃描線16:9,分辨率為1280×720,逐行/60Hz,行頻為45KHz。

D5為1080p格式,是标準數字電視顯示模式,1125條垂直掃描線,1080條可見垂直掃描線16:9,分辨率為1920×1080逐行掃描,專業格式。

高清網絡錄影機中,我們通常叫成百萬、兩百萬像素錄影機:

1080P 實際是指分辨率1920*1080像素 ——計算一下就是1920×1080=2073600像素 大家一般都會叫 1080p或1080i為200萬像素分辨率

960P 實際是指分辨率1280*960像素 ——計算一下就是1280×960=1228800像素大家一般都會叫960p或960i為130萬像素分辨率

720P 實際是指分辨率1280*720像素——計算一下就是1280×720=921600像素大家一般都會叫720p或720i為百萬像素分辨率

1、XGA 分辨率 1024*768

2、VGA 分辨率 640*480

3、UXGA 分辨率 1600x1200

六、防紅眼中的紅眼

由于視網膜上的血管豐富,夜晚,用閃光燈拍照時,瞬間的強光令瞳孔來不及收縮,反而會放大以便讓更多的光線通過,這樣,光線便透過瞳孔投射到視網膜上。

視網膜的血管就會在照片上産生泛紅現象,人的眼珠便呈現出一片紅色,即人們常說的“紅眼”。

七、色調映射

指對圖像顔色進行映射變換的算法。

目的是調整圖像的灰階,使得處理後的圖像人眼看起來更加舒适,能更好的表達原圖裡的資訊與特征。

八、一些光源的名稱

Tungsten:鎢光,Horizon

Warm Fluorescent:A

Shade:D75

Strobe:閃光燈

Fluorescent:熒光燈 即CWF、TL84

Daylight Fluorescent:日光熒光燈

Incandescent:白熾燈,A,H

  Neutral-density filter :

中性灰階鏡(Neutral Density Filter)又叫中灰密度鏡,簡稱ND鏡,其作用是過濾光線。

這種濾光作用是非選擇性的,也就是說,ND鏡對各種不同波長的光線的減少能力是同等的、均勻的,隻起到減 弱光線的作用,而對原物體的顔色不會産生任何影響,是以可以真實再現景物的反差。

九、什麼是3D sensing?

3D Sensing 從字面意思了解,就是将原來 2D 的攝像頭轉換為 3D 資料,不僅讓成像顯得立體,更讓每一個像素能夠除了 x、y 軸資料外,還有 z 軸(深度 / 距離)資料。

是以簡單的說 3D Sensing 就是原有的攝像頭再新增一個測算深度資料的子產品。

目前 3D Sensing 主要由發射端與接收端構成。不同的路徑有着不同的器件結構,一般有雷射發射器(VCSEL 發射端)、wafer-level optics ( WLO ) 、Sensor 這幾個結構。

目前 3D Sensing 市場上有三種方案,成熟度按照從高到低順序排列為:結構光、TOF 和雙目。

其中最成熟的結構光方案已大量應用于工業 3D 視覺領域,而 TOF 方案已出現在 Google 的 Project Tango 方案中,雙目由于算法開發難度高,在不在乎功耗的機器人、自動駕駛等新興領域應用較多。

一些Camera相關概念整理

十、慢鏡頭視訊

電影攝影中的一種技術手段,“電影是每秒鐘24畫格的真理。”

為了實作一些簡單的技巧,就要改變正常的拍攝速度,比如高于24格/秒,拍攝速度達到50幀/秒、100幀/秒,甚至更高。

回放速度依舊為24幀/秒,這就相當于把實際1秒鐘拍攝的圖像用2秒多到4秒多時間回放,這就是我們口中說的慢鏡頭效果。

如果降低拍攝速度(低于24格/秒),放映效果就是快動作。

一些Camera相關概念整理

960fps 超高幀率的慢動作錄影,并用 30fps 的幀率輸出影片。

• 960fps/30fps=32x

這意味着即使是手機也具備 32 倍的慢動作錄影能力,相較于 Google Pixel 所具備的 240fps 錄影,Sony Xperia XZs、XZ Premium 的超慢動作錄影還要慢了 4 倍,并且所搭載的感光元件圖像記錄速度上要快 5 倍,過往需要 40ms(毫秒)記錄的影像僅需要 8ms 即可紀錄完成,這也大幅減低了滾動快門效應。

大家不少新款手機,像iPhone X已支援1080/240P慢動作視訊,但慢動作視訊會削弱畫質,并占用大量儲存空間,不是一個常用功能。

1、120fps是每秒播放120幀,也可以了解為每秒播放120張圖檔。240fps是每秒播放240幀,也可以了解為每秒播放240張圖檔。

兩者相對而言,播放慢動作的話,後者可以播放慢動作更慢。

2、iphone6可以達到慢動作240fps,一般相對而言的話,幀數越高,可能造成的畫面相對于60幀有些模糊。

産生這種情況的原因是攝像頭和圖像處理器性能相同,數值越大,相對圖像越模糊。

經常念叨的“果凍”,或者是拍到現場有相機閃光燈的隻拍到 了一條亮線,根源都是 CMOS的滾動快門造成的。

1.滾動快門(electronic rolling shutter,又名卷簾快門)

目前大多數CMOS傳感器采用這種快門。對任一像素,在曝光開始時現将其清零,然後等待曝光時間過後,将信号值讀出。因為資料的讀出是串行的,是以清零/曝光/讀出也隻能逐行順序進行,通常是從上至下,和機械的焦平面快門非常像。和機械式焦平面快門一樣,對高速運動的物體會産生明顯的變形。而且因為其掃描速度比機械式焦平面快門慢,變形會更加明顯。例如如果資料的讀出速度是每秒20幀,那麼圖像頂部和底部的曝光先後差異将多達50毫秒。為了彌補這個缺陷,通常數位相機中通常配合機械快門,曝光開始時整個圖像傳感器清零(目前的絕大多數傳感器都具備快速清零功能,可以在幾個時鐘周期内完成整個傳感器的清零),然後機械快門打開,曝光結束後機械快門關閉,資料順序讀出。

2.全局快門(global shutter/snapshot shutter)

最主要的差別是在每個像素處增加了采樣保持單元,在指定時間達到後對資料進行采樣然後順序讀出,這樣雖然後讀出的像素仍然在進行曝光,但存儲在采樣保持單元中的資料卻并未改變。

一些Camera相關概念整理

十一、超高速攝像頭凝時拍攝

凝時拍攝(960fps)是一個功能可以讓使用者使用超高速攝像頭在960fps條件下錄制視訊,并通過以正常視訊(30fps)的32倍慢速播放捕捉人類肉眼通常無法觀察到的鏡頭并且以使用現有慢動作功能(240fps)的4倍慢速進行。

正常的視訊(30fps):

視訊的速度與實際運動一樣了。

慢動作視訊(240fps):

視訊播放比正常人慢8倍,類似于典型的電影,商業,或運動速度。

凝時拍攝視訊(960fps):

圖像的播放比正常人慢32倍,捕捉小的變化在面部表情和快速移動物體的細微的動作。

一些Camera相關概念整理

在慢動作(240fps)中,所有視訊片段都是以240fps進行儲存的。

而凝時拍攝(960fps)中,隻有使用者在超高速條件下拍攝的0.2秒視訊以960fps進行儲存,其餘部分為普通視訊(30 fps)。是以凝時拍攝(960fps)存儲的視訊相對較小。

960fps慢動作攝影是什麼?

首先是fps的定義,指的是一個圖像或視訊畫面每秒傳輸幀數,通俗來講可以了解為我們常說的“重新整理率”。這個數字越高,動态畫面看起來就越連貫。

當一個視訊幀數高達960fps,就已經超越“順暢”的領域,隻有用慢動作視訊才能夠完全展示。

這項技術在專業的影視領域用的比較多。舉個例子,當我們觀看賽車時,高速賽車呼嘯而過連車型都看不清;而應用高幀數的慢動作拍攝,就可以完整看清賽車本身通過觀衆席的全過程,而不隻是一個影子。

十二、圖像分割

就是按照一定的特征如灰階,色彩,空間紋理,幾何形狀等将一幅圖像分割為若幹部分或子集的技術過程。

分割品質的好壞直接影響圖像分析和處理的結果。

十三、平坦區

是指不包含明顯邊緣,像素變化相對平緩的區域。

十四、紋理區

是指檢測出邊緣相對密集,并存在一些僞邊緣的區域紋理區内的邊緣分布呈現一定的周期性,因而存在某些紋理特征。

十五、清晰邊緣

是指邊緣特征明顯,可以被傳統邊緣檢測算子檢測出的圖像邊緣清晰邊緣。

  常見圖例:

一些Camera相關概念整理
一些Camera相關概念整理

十六、Bayer CFA

一些Camera相關概念整理
一些Camera相關概念整理
一些Camera相關概念整理

十七、Distortion

一些Camera相關概念整理

十八、Artifacts

一些Camera相關概念整理

十九、CIE1931

一些Camera相關概念整理

二十、色彩偏移

一些Camera相關概念整理

二十一、枯葉圖

一些Camera相關概念整理
一些Camera相關概念整理

彩色落币圖是枯葉圖的更新設計是為了測量紋理清晰度。

比起舊版的枯葉圖它有幾大優勢:包括為提高測量精度和魯棒性不變的比例,左右兩邊的灰色區域有助于去除噪聲(使用的一種技術叫做灰塊噪聲的功率光譜密度是從中心溢出區域的信号和噪聲總和的PSD中減去得到的。)