一種采用資料驅動合并的超快圖像識别光電傳感器
随着機器視覺及其應用的最新進展，相比基于幀的CCD或CMOS圖像傳感器，業界對更快、更節能、更靈敏的傳感器硬體的需求越來越高。除了基于傳統CMOS技術并已達到較高成熟度的事件相機（矽視網膜），現在對新型圖像采集和資料預處理技術的研究也越來越多，其中許多技術模拟了人類視覺系統的某些神經生物學功能。
近幾十年來，一種被稱為像素合并（pixel binning）的圖像預處理技術得到了應用，它是将圖像中相鄰的n個點像素相加合并變為一個點像素的過程。這提供了很多優勢，例如（1）由于輸出資料量減少而提高了幀速率，以及（2）在低光水準或短曝光時間下，提高了信噪比（SNR）等。對于後者來說，正常模式下每個探測像素都會受到暗噪聲的影響，但在合并模式下，每個像素僅受到一次噪聲影響。然而，合并的代價是空間分辨率降低，或者說丢失資訊。在模式識别應用中，即使信噪比很高，這也會降低結果的準确性。
據麥姆斯咨詢介紹，維也納技術大學（Vienna University of Technology）光子學研究所的一支研究團隊通過将大量傳感像素合并成一個“超像素”，将合并的概念推向了極限。超像素的最佳形狀通過機器學習算法在訓練資料中确定。研究人員展示了在超短時間尺度上對光學投影圖像分類，具有增強的動态範圍，并且不損失分類精度。這項研究成果已發表于Scientific Reports期刊。
像素合并
不同類型像素合并的人工神經網絡（ANN）分類精度。傳統像素合并可以在低光照強度下擴充動态範圍，但随着光照強度的提高會犧牲精度。資料驅動（Data-driven）的像素合并則不存在這個缺點。
對于具有獨熱編碼（one-hot encoding）的多類分類，每個類都需要一個這樣的超像素。對于傳統合并，系統對噪聲變得更具彈性，并且提高了動态範圍。然而，與傳統情況相比，對于更高的光照強度，其分類精度沒有損失，是以性能沒有妥協。當然，這些優勢的代價是降低了靈活性，因為每個特定應用都需要自定義配置/設計。
光電傳感器實作
下圖展示了這款采用資料驅動像素合并的光電傳感器示意圖。該傳感器由N個像素組成，排列成二維陣列。每個像素最多被劃分為M個子像素，這些子像素連接配接合并在一起形成M超像素，測量其輸出電流。
圖檔:（a）光電傳感器示意圖。（b）用于MNIST資料集分類的NB分類器的顯微圖像，N=14 x 14像素，M=10個輸出通道。（c）具有兩個金屬層的GaAs肖特基光電二極管剖面圖。（d）光學照明下其中一個探測器元件的電流-電壓特性。
注：MNIST資料集（Mixed National Institute of Standards and Technology database）是美國國家标準與技術研究院收集整理的大型手寫數字資料庫，包含60,000個示例的訓練集以及10,000個示例的測試集。
樸素貝葉斯（NB）光電傳感器
圖檔:a）工作原理示意圖。（b）實驗裝置示意圖。（c）根據MNIST訓練資料集确定的NB分類器的超像素形狀。（d）計算混淆矩陣。（e）測量的光響應圖。（f）實驗混淆矩陣由10⁴位數字光學投影逐個确定，并将已知/真實類别标簽與傳感器預測的标簽進行對比。
ANN光電傳感器
圖檔:（a）具有權重和偏差限制的ANN示意圖。（b）ANN傳感器的混淆矩陣。（c）最高和所有其他輸出電流之間的相對差。ANN相比NB分類器展現了更寬的輸出電流分布。（d）ANN的超像素形狀。
資料驅動像素合并的優勢
顯然，與在傳統CMOS圖像傳感器中讀出整個圖像相比，讀出M超像素信号需要的時間、資源和能量更少。事實上，光電二極管陣列本身根本不消耗任何能量；能量僅由選擇最高光電流的電子電路消耗。模式識别和分類實時進行，并且僅受光電流産生的實體特性和/或資料采集系統的電帶寬的限制。
圖檔:器件性能評估
結語
研究人員總結提出了未來研究的建議路線。目前器件的主要限制是缺乏可重構性。雖然在某些情況下（例如專用光譜應用）可能是合适的，但通常很看重傳感器的可重構性。例如，這可以通過利用具有可調響應的光電探測器或基于非易失性存儲器材料的可程式設計網絡将各個像素合并在一起來實作。
除了标準獨熱編碼之外的其他方案，還可以節省硬體資源并進一步擴充動态範圍。這項技術的可能應用包括需要高速識别簡單物體或圖案的工業圖像識别系統，以及光譜學應用，其中入射光被分散成不同的顔色，傳感器經過訓練以識别某些特征光譜。在這兩種應用中，經典機器學習算法将為資料集的逼近提供足夠的繁複和深度。
