文 / 周金佳
整理 / LiveVideoStack
1. 監控系統實作低功耗的背景
衆所周知日本是全世界最安全的國家之一，其中完善的安防系統在其中占了很大比重，在公共場所都分布着很多攝像頭，随着5G和Smart City在日本的讨論熱度逐漸升高，大家對于監控系統未來的發展也提出了更高的要求，包括高清晰度低功耗的視訊采集和壓縮，高速度的傳輸，準确的視訊分析了解。在監控系統的本地端，更關注的是系統的功耗其中包括視訊采集的功耗以及視訊壓縮的功耗。該項目的目标是建立超低功耗的Batteryless的本地端監控系統。
上圖是目前市場上在售的監控攝像頭，雖然它們的性能很好，但功耗也相對比較大。沒有一款能夠真正做到batteryless。
2. 監控系統低功耗目标
2.1 視訊采集中的耗電分布
上圖分析了視訊的采集編碼和傳輸的功耗分布。功耗主要來自于image sensor和compression。Image sensor是指視訊的采集。Compression指視訊編碼的功耗。Image Sensor 中最耗電的是從模拟到數字轉換的部分， Image Sensor最終輸出像素點（pixel），然後對像素進行壓縮。視訊編碼算法的共同特點是複雜度很高，并且複雜度還會随着壓縮率的提高而進一步提升，提升的同時也會帶來能耗的增加。以352x288的CIF視訊為例，即使在隻追求low power的情況下進行圖像采集、壓縮和傳輸也需要至少200mW的能耗，而我們的目标是在支援高清及4K分辨率的同時将能耗限制在40mW以内。
2.2 降低能耗的原因
日本東京在兩年前部署有大約1000萬個監控攝像頭，在采取降低監控系統能耗的系統後可以節約大約一個小型發電站的功耗。
監控系統另外一個目标是希望在系統内實作快速編碼，但目前最新的算法和标準都不會考慮複雜度的問題，尤其是基于像素點的壓縮部分，編碼端的複雜度會變得特别的高。
2.3 解決方案
監控系統中最消耗功耗的部分是基于像素的壓縮，即視訊編碼。視訊編碼是監控系統必不可少的環節，且目前所有的編碼算法都是基于像素進行壓縮編碼，複雜度非常高。團隊推翻之前所有的方案，提出在圖像采集過程中就對圖像進行初步壓縮，image sensor的輸出不再是像素點而是已經壓縮過的資料，我們用全新的編碼算法對這些壓縮的資料進行再編碼。在圖像采集過程中就對圖像進行壓縮的好處是，減少模拟信号向數字信号轉換的功耗。另外，新的基于壓縮資料的視訊編碼算法會比傳統的像素域的視訊編碼算法簡單很多。可以大大減少視訊編碼的功耗。
3. 圖像采集提案
3.1 圖像采集方法對比
在傳統的圖像采集方法中，經過ADC（analog to digital convertor）将模拟信号轉換為數字信号，然後用視訊編碼算法對這些信号也就是像素，進行壓縮。隻用幀内編碼Intra的話，能壓縮到5-10%，在加幀間預測編碼可以達到更高的壓縮率。但是視訊編碼算法都十分複雜。而且是越來越複雜。我們提出的基于壓縮感覺的圖像采集方法是指，在經過ADC之前的觀測值資料是已經被壓縮過的， ADC的功耗可以降低50-70%。在2013年索尼和斯坦福大學已經驗證了這一算法的可行性。基于索尼和斯坦福大學的研究成果，我們提出了是否可以對采集到的壓縮資料進行再編碼的想法。
3.2 基于壓縮感覺的圖像采集系統
基于壓縮感覺的圖像采集系統可以了解為在攝像頭處加一個簡單的0 1/0 1 -1矩陣，1相當于兩個電壓相加，-1表示兩個電壓相減，矩陣的m決定了可壓縮量，矩陣*向量之後的資料傳到ADC後轉成數字信号，原本要做n個點的模數轉換，經過壓縮感覺圖像采集系統之後隻需要做m個點的模數轉換，ADC的功耗大大減少。在這個矩陣的設計上，需要用到壓縮感覺的原理，比如輸入圖像x經過θ變換到某一個domain必須是sparse的，測量矩陣和θ是非相關的。目前被廣泛應用的是随機矩陣。
3.3 現有的視訊壓縮算法的相容問題
在确定了image sensor裡的矩陣，得到壓縮過的資料後，我們需要一種新的編碼方式，對其進行編碼來達到進一步的壓縮。基于壓縮感覺的圖像采集系統輸出的資料已經不再是像素，而是測量值成為measurement，而現有的視訊壓縮技術（H.264/AVC, H.265/HEVC、AV1……）都是基于像素的壓縮算法，無法相容基于壓縮感覺的圖像采集系統(CS-imager)。有一些能夠相容CS-imager的測量值（measurement）壓縮算法壓縮率很低，因為無法有效利用相鄰像素之間的相關性來提高壓縮率。
我們的提案是在設計矩陣時隐藏像素域資訊，然後利用這個像素域特征，實作一種全新的編碼方式來壓縮輸出的觀測值（measurement）。如圖，将圖像分為4x4/8x8/16x16的塊，以4x4為例将其展開變成16個點，設計矩陣時将某一行設定為0000 0000 0000 1111，矩陣與像素點相乘之後得到最後四個點相加，也就是prediction圖中上層的最後四個點，可以知道向量的第一個值其實代表了上面那一塊最下面那一行中點相加的值，除以4後可以得到上面那部分塊的平均值。還有一種矩陣設計是将某一行設定為0001 0001 0001 0001，這種算法是每隔四個點加一次，得到的結果是prediction圖中左側的最後四個點相加的值，除以4後可以得到左邊四點的平均值。通過刻意改變矩陣中兩行的設定來隐藏像素域的資訊，之後在壓縮過程中也可以知道像素域的特征。
3.4 多方向幀内預測
參考H.264的針内預測方法，做了九個方向的預測。為了實作這個預測，我們設計了如圖所示的矩陣。做完預測之後，對殘差進行量化和熵編碼。
4. 基于壓縮感覺的圖像采集系統的效果對比
4.1 視訊壓縮到約20%的效果
将視訊壓縮到約20%的情況下，圖像采集功耗為原來的50%，在隻做上下兩個方向的幀内預測時，壓縮功耗約為HEVC Intra coding的10%。
4.1 不同采樣率下得到的壓縮以及重建圖像的品質比較
上圖中SR是sampling rate。0.25/0.5/0.75表示25%/50%/75%的感覺壓縮的壓縮率。原圖的大小是每個像素點8bits（8bpp：bit-per-pixel）。如圖所示，當SR為0.75時，最終的編碼輸出為每個像素點1.21bits，PSNR為31.84dB。
4.2 基于compressive sensing的運動區域檢測
上圖是描述在不同SR時的壓縮效果（bpp bit-per-pixel）以及畫面的品質PSNR。團隊進一步提出了基于compressive sensing的運動區域檢測算法，在進行背景更新的同時隻傳輸運動區域的資訊，進一步提高壓縮率。
4.3 提高重建視訊品質的算法
為了提高重建視訊的品質，系統中還添加了上圖中的四種算法。以上四種算法都是使用在視訊解碼端。
5. 展望
本次分享的内容雖然是基于監控系統來進行讨論，但其實超低功耗的視訊采集和編碼方法可以運用很多其他的領域。
————————————————
版權聲明：本文為CSDN部落客「LiveVideoStack_」的原創文章，遵循CC 4.0 BY-SA版權協定，轉載請附上原文出處連結及本聲明。
原文連結：
https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/98553067