1. 概述
監控視訊技術經曆了模拟時代，進入了數字化時代。在數字化監控的程序中，目前正處在從數字化、網絡化、高清化向智能化的發展過程中。其中智能化的監控視訊分析是目前重點發展方向之一，人們希望通過智能分析取代大量繁重的人工對監控視訊内容的察看、分析和總結。
智能化涉及到對監控視訊圖像的種種處理，從技術的層面上大緻可以分為三個層次：注重于像素或像塊的視訊圖像處理，注重于圖像特征和目标的視訊圖像分析，注重于圖像内容語義的智能分析。用通俗的話說，監控視訊圖像處理的目标是“看清楚”監控的場景，包含去噪聲、去模糊、去抖動、去霧霾、超分辨率重建、動态範圍擴充等措施;監控視訊圖像分析的目标是“看明白”監控的對象，包含車牌識别、人臉識别、人流統計等方面;智能監控視訊分析的目标是“看懂”監控場景内容的語義(semantics)，即給出人能夠了解的分析結果，如這裡發生了什麼，這裡有什麼等。它包含多種智能分析技術，如行為識别、入侵檢測、遺留物檢測、群體行為識别、違規車輛檢測等方面。
在這三個層次中，顯然智能監控視訊分析是我們最終的目标，替代人工對視訊監控内容的觀察、分析和判斷，甚至比我們人類在某些方面更加準确和快捷。但是，要達到這一目标，必須向智能分析系統提供盡可能清楚的視訊圖像，盡可能準确的目标劃分和識别的結果，我們将這些技術稱之為智能視訊分析的基礎技術，即視訊圖像處理和分析。如果所提供的圖像達不到這樣的要求，則很難指望智能分析系統會獲得正确的分析結果。是以，我們說智能視訊分析固然重要，智能分析的具體方法固然重要，但是提供優質視訊圖像的基礎技術在目前視訊分析智能化的起始發展階段尤為重要。
目前從應用的角度看，智能視訊分析雖然取得了長足的進展，但仍然有太多的内容需要研究和開發，智能視訊分析技術尚處于視訊處理和視訊分析的“初級階段”，這一部分是當下實際應用場合中重點關注的内容。基礎的監控視訊處理和分析技術包含很多的方面，除了經典的視訊處理技術如圖像增強、圖像去噪等技術外，目前大家較為關注的主要有圖像去霧，動态範圍擴充，超分辨率重建，車牌識别，人臉識别，……，等多項技術。下面以在視訊監控行業小有名氣的vais(video analysis instrument system)——迅通視訊圖像分析系統為例，着重介紹視訊圖像處理和視訊圖像分析這兩方面的基礎處理技術。
2. 視訊圖像處理
2.1 去霧增透處理
由于大氣散射作用，霧天天氣條件下擷取的視訊圖像較為模糊，嚴重地影響着圖像的視覺效果。其原因主要在于目标光線在傳播過程中遭到霧氣的衰減而導緻了圖像細節的丢失，清晰度不夠;周圍環境光的參與造成了圖像顔色的失真，色調平淡。
為了改善這類霧天圖像，可采取視訊去霧增透技術(簡稱透霧技術)，将因霧氣和灰塵等導緻朦胧不清的圖像變得清晰，發掘出更多的圖像所包含的資訊，為下一步對圖像的智能分析應用提供良好的條件。
目前的透霧處理方法主要分為兩類：霧天圖像增強和霧天圖像複原。霧天圖像增強方法現對比較簡單，它不考慮圖像降質原因，隻針對圖像的色彩進行處理，能有效地提高霧天圖像的對比度，突出圖像的細節，改善圖像的視覺效果，但可能會造成一定的資訊損失。
霧天圖像複原針對霧天圖像品質退化的機理，建立霧氣圖像退化模型，然後用圖像複原的方法，對霧天退化圖像進行複原，補償退化過程造成的失真，獲得對無霧圖像的最優估計，進而改善霧天圖像品質。這種方法針對性強，得到的去霧效果自然，資訊損失小，處理的關鍵是模型中參數的估計。圖1為vais系統采用基于實體模型的快速實時去霧方法對霧天圖像增透處理的一例。
(a) 透霧處理前 (b) 透霧處理後
圖1 透霧處理效果對比
2.2 超分辨率重建
随着人們對監控圖像品質的要求越來越高，提升監控圖像的分辨率已經成為整個安防行業的一項迫切要求。提高圖像分辨率最直接的辦法就是提高采集裝置(如錄影機)的傳感器密度。但是，一方面高密度的圖像傳感器的價格相對昂貴，在一般應用中難以承受;另一方面，由于成像系統受其傳感器陣列密度的限制，目前已接近極限。
在這樣的情況下，解決這一問題的一個有效途徑是就采用基于信号處理的軟體方法對圖像的空間分辨率進行提高，即超分辨率(sr：super-resolution)圖像重建，将采集到的低分辨率圖像通過一定算法重建為高分辨率圖像。vais的sr重建的核心方法是用時間帶寬(擷取同一場景的多幀圖像序列)換取空間分辨率，實作時間分辨率向空間分辨率的轉換，使得重建圖像的視覺效果超過任何一幀低分辨率圖像。圖2出示了一幅低分辨率視訊圖像經過超分辨率重建以後形成的高分辨率圖像的前後對比。
(a) 原始低分辨率圖像 (b) 重建後的高分辨率圖像
圖2 超分辨率圖像重建對比
2.3 動态範圍擴充
在不少視訊監控場合，常常會由于光線的原因産生彩色(亮度)動态範圍偏離的圖像，出現整體或局部的“曝光”不足或“曝光”過度。對這類視訊圖像的處理主要是糾正彩色動态範圍的偏離，包括兩個方面：對背光圖像的處理和對暗光(如夜晚場景)圖像的處理。
(1)暗光圖像的處理
夜晚場景下采集的圖像由于光照強度不足，導緻圖像亮度及對比度降低，丢失顔色等細節資訊，增加了圖像的噪聲，進而降低了圖像品質，嚴重影響了圖像的使用和進一步的智能分析處理。目前比較流行的暗光圖像處理的方法是retinex算法，從給定的圖像中分離出亮度圖像和反射圖像，在彩色恒定的條件下，通過改變亮度圖像和反射圖像在原圖像中的比例來達到增強暗光圖像的目的。但這種方法的計算量非常大，很難應用于實時處理。為此vais系統通過統計分析後發現反轉後的暗光圖像與霧天圖像具有類似的統計特征，在此基礎上設計了一種新的基于圖像去霧法的擴充圖像動态範圍的快速算法，對反轉的暗光圖像進行處理，處理完畢再進行翻轉就成為擴充了動态範圍的圖像。圖3為暗光圖像動态範圍擴充的一例，圖像的動态範圍的改善和retinex算法相當，但處理速度很快，能夠滿足實時應用的要求。
(a) 暗光處理前 (b) 暗光處理後
圖3 暗光處理效果對比
(2)背光圖像的處理
在視訊采集過程中，如果錄影機正對光源，這部分非常亮，而場景中的目标物體比光源暗得多，由于錄影機的動态範圍的限制，進而導緻目标區域的亮度非常暗，看不清細節，這就是所謂的背光現象。很明顯，背光圖像補償處理的關鍵就在于提高目标區域的亮度，降低光源部分的亮度，同時保證整幅圖像自然過渡的平滑特性。vais系統對背光圖像采用類似暗光圖像處理的方法，即基于圖像去霧法的方法來處理背光圖像的。背光補償前後效果對比的一個執行個體如圖4所示。
(a) 背光補償前 (b) 背光補償後
圖4 背光處理效果對比
3. 視訊圖像分析
3.1 人臉識别
基于圖像處理的人臉識别技術大體上可分兩類，一類是合作型人臉識别，就是大家常見的用于考勤、門禁、會議簽到等場合的身份識别方式，目前這一類技術已比較成熟;另一類則是非合作型人臉檢測和識别技術，最典型的就是監控視訊中目标人物的臉部檢測與識别，這一類技術還不夠完善，還有許多問題有待解決。
目前，在監控視訊的應用中，大部分是非合作方式的人臉檢測和識别，由于無法得到目标人員的配合，再加上各種不利環境因素的影響，使得視訊中人臉圖像的精度不高、面部模糊、角度變化大，進而導緻很難做高精度的人臉檢測和人臉識别。
vasi系統關注的就是非合作型的這一類人臉識别技術，緻力于在小樣本庫的人臉識别中的算法優化，因而具有較高的人臉檢測和識别率。vais系統将視訊場景内捕獲并檢測到的所有人臉圖像傳送至vais的人臉識别部分，采用wsr與lcr算法對模糊人臉進行重建後，然後将他們與vais系統資料庫的人臉資料進行多次比對，篩選出最接近的一個或多個人臉資料，供使用者進行目标身份确認，或者起到對使用者一個提示、警示的作用，提醒使用者進行進一步的身份核實。這種人臉識别方式在不少場合是非常有用的，如酒店、銀行、機場、碼頭、海關等處的vip或黑名單使用者的初步識别與提示等。
3.2 車牌識别
車牌識别技術主要包括兩類，一類是相對靜止的卡口車牌識别，另一類是車輛處于運動狀态的車牌識别。
對于停車場卡口類的車牌識别，由于車輛的靜止或速度較慢，再加上車輛對檢測的配合，因而相對容易，識别率也很高。vais系統對此類車牌識别，隻要錄影機捕獲的車牌圖檔寬度達到30個像素以上，就能準确識别出車牌号碼，準确率幾乎為百分之百。
對于行駛中車輛的牌照識别，如道路上車輛、甚至是逃逸的車輛等，由于複雜的環境、高速的運動、其他車輛的遮擋等不利因素存在，大大增加了車牌分割和車号識别的技術難度。vais系統在這種情況下利用監控場景中目标之間存在的關聯和限制，能夠以比較高的準确率識别出大部分模糊車牌号碼。目前vais已多次成功協助公安部門從車牌識别入手快速偵破不同程度的棘手案件。今後随着vais模糊車牌自動識别技術的不斷完善，車牌識别準确率還将不斷提高。
圖5為一小區内可疑車輛車牌自動識别的一個執行個體，在經過vais系統對模糊車牌的取點分割，運作識别算法處理後自動輸出車牌号為624m4。圖6為對高速路上快速行駛車輛車牌自動識别一例，識别出的車牌号為422af。
圖5 卡口車輛車牌識别一例 圖6 行駛車輛車牌識别一例
4. 結語
在智能監控視訊分析技術飛速發展的過程中，當我們遇到困難或出現差錯時，往往問題的源頭還是在提供給智能分析系統的圖像本身的品質不佳，如圖像不清晰，目标劃分不準确，圖像内容暗淡等，是以，加強視訊圖像的處理和初步分析，是獲得智能視訊分析的準确結果的最為關鍵的必要條件之一。
以上我們簡單介紹了幾項重要的視訊圖像處理和分析技術，包括圖像透霧處理、暗光圖像和背光圖像的均衡處理，人臉的檢測和識别技術，車牌的檢測和識别技術等，這些都是vais智能視訊分析系統所具備的基本功能，在實際應用中已經取得了良好的成績。除了上面介紹的幾種特殊的視訊處理方法外，還有多種其它的預處理方法，例如感興趣區域的處理，防抖動處理，動态目标鎖定處理，對該目标進行跟蹤和增析處理。
隻有打牢了視訊處理和分析的基礎，才有可能在此基礎上進行智能視訊分析，vais朝這一方向努力正在進行中，結合海量視訊資料(大資料)的挖掘，采用人工智能中的機器學習方法，尤其是結語人工神經網絡的深度學習方法，正在将一步一步地提高智能監控視訊分析的速度和準确性，一步一步地推向實用。
本文轉自d1net（轉載）