圖源：鵬城實驗室 Olivia Wang
在處理模式識别、風險管理以及其他同樣複雜的任務時，最強大的計算機都無法與人腦匹敵。但是，近來光學神經網絡取得的進展通過模拟人腦中神經元的反應方式縮小了計算機與人腦之間的差距。這種光學神經網絡比 ML 中的網絡能耗更低、運算更快，是未來大規模應用 AI 的堅實基礎。
近日，來自香港科技大學的研究團隊在《Optica》雜志上發表了一篇論文，較長的描述了他們提出的雙層全光學神經網絡。這是一個功能完善的全光學神經網絡（AONN），其中所使用的線性函數和非線性激活函數都是完全根據光學實作的。而且這種全光學神經網絡還能擴充到更加複雜的神經網絡架構，進而完成圖像識别等更複雜的任務。
這個複雜的東西就是一個兩層的全光學神經網絡，它和機器學習中的兩層全連接配接網絡有點「類似」。
研究團隊成員之一 Junwei Liu 表示：「我們提出的全光學神經網絡能夠以光速執行光學并行計算，并且耗能極少。這種大規模的全光學神經網絡可應用于圖像識别以及科學研究等諸多領域。」
港科大的全光學神經網絡是什麼
在傳統混合光學的神經網絡中，光學元件通常用于線性運算，而非線性激活函數通常使用電子的方式實作。這主要因為非線性光學元器件需要高功率的雷射器，這在光學神經網絡中是很難實作的。
為了克服這方面的問題，研究者使用具有電磁感應透明度的冷原子實作非線性函數。研究團隊的 Shengwang Du 說：「這種光感應效應可以通過非常小功率的雷射器實作，且該效應是基于非線性量子幹涉的。是以這種效應可以将我們的系統擴充到量子神經網絡，進而解決經典方法難以解決的問題。」
為了确認新方法的能力與可行性，研究者建構了一個雙層全連接配接全光學神經網絡，它的輸入單元與輸出單元數目分别是 16 與 2。研究者使用他們的全光學網絡分類 Ising 模型（一種磁場的統計學模型），即 order 和 disorder 階段兩個類别。結果表明，全光學神經網絡與一般基于計算機的神經網絡一樣準确。
圖 1：全連接配接網絡的結構與全光學神經網絡的一般結構。
如上 a 為機器學習中常見的全連接配接網絡，b 則是香港科技大學研究者提出的全光學神經網絡（AONN），它們都會進行非線性變換。與一般的 ONN 不同，AONN 沒有複雜的電場神經元，AONN 所有的信都通過光學的方式進行編碼。
非線性光學激活函數
這篇論文核心的突破就是采用了基于光學的非線性激活函數，是以整個網絡才能稱為「全」光學神經網絡。那麼什麼是非線性光學激活函數？簡單而言，它就是一種基于電磁感應透明的子產品（electromagnetically induced transparency, EIT）完成的，我們隻要知道 EIT 是一種原子躍遷之間的光量子幹涉效應就行了。
EIT 非線性光學激活函數由雷射冷卻的 85Rb 原子在 dark-line 二維磁光阱（MOT）中實作，如下圖 3(a) 所示。圖 3(b) 所示為原子能級，原子在基态|1>中制備。
在沒有耦合光束的情況下，原子媒體對共振探測光束是不透明的，它如圖 3(c) 透射光譜中的實作所示最大程度地被原子吸收。
圖 3：EIT 非線性光學激活函數的實作。
對「光學神經網絡」的不懈追求
當然，香港科技大學的這個全光學神經網絡并非研究者在該領域的唯一探索。今年 5 月份，在《Nature》的一篇論文中，德國的研究人員提出了一種在
毫米級光子晶片上實作的、基于相變非線性材料的全光學脈沖神經網絡。該網絡内部沒有光到電的轉換，輸入的資料被電子調制成不同的波長以注入網絡，但之後所有資料都會停留在晶片上。利用內建相變材料來實作權重調制和神經元內建；它們位于兩種微環諧振器上，具有突觸或神經功能。
在不同工作波長情況下注入的未調制光接收到在相變材料中累積的神經元激活，之後将它們傳遞到網絡下一層。即使沒有晶片上光學增益（在這個過程中，一種媒體将能量傳遞給通過它傳輸的光），這個設定也可能擴充至更大的網絡。作者在其上實作了小規模的監督學習和無監督學習。
利用上述全光學神經元進行監督學習和無監督學習。a 和 b 表示兩個神經元在不同輸入模式下的輸出；C：全光學神經元的無監督學習機制；d：重複顯示「0110」模式時四個突觸的權重随時間的變化。
香港科技大學的研究者在論文中也提到了這項研究，但他們指出，這兩項研究存在根本差别。首先，德國這項研究中的系統是單層的，而本文中提出的是一個 16 個輸入、2 個輸出的雙層全光學神經網絡，還帶有 4 個具有非線性光學激活函數的中間神經元。而且，港科大的研究者利用 EIT 量子幹涉實作了非線性光學激活函數，這與那項研究的方法完全不同。
除了上述全光學神經網絡，還有研究者嘗試從局部入手，把神經網絡的一部分替換為光學卷積層。
去年 8 月，斯坦福大學在《Nature》子刊《Scientific Reports》上發表論文，提出
在 CNN 網絡前端替換一個光學卷積層（opt-conv）的方案，可以在保持網絡性能的同時顯著降低能耗，并在 CIFAR-10 資料集的分類任務上驗證了其結論。
光學卷積層也就是用光學器件實作的卷積層，其光學運算具備高帶寬、高互聯和并行處理特性，并能光速執行運算，功耗接近于零。該技術有望在低功耗機器學習領域得到進一步發掘。
光學卷積層設計。（a）4f 系統圖，可以通過在傅裡葉平面上放置相位掩模來實作光學卷積層（opt-conv）。（b）數字卷積層的标準組成，包括輸入圖像、卷積核堆棧和相應的輸出量。（c）opt-conv 層中的等效組成，核和輸出以二維數組的形式平鋪在平面，而不是堆疊在深度維數中。
此外，為了實作光速運算，加州大學洛杉矶分校（UCLA）的研究者甚至
用 3D 列印打造出了固态的神經網絡。該網絡利用層級傳播的光衍射來執行計算，實作了手寫數字的圖像識别，相關成果已發表在《science》雜志上。
這一想法看似新奇，其實也很自然。神經網絡中執行的線性運算，恰好和光衍射的線性互相作用對應，神經元的權重、激活值概念也能和光的振幅、相位對應（可調）。此外，固态光衍射計算還具有能耗小、無發熱、光速執行（盡管傳統計算機電路中的電場傳播也是光速的，但并未直接對應神經網絡的計算過程）等優點。
當然，也有人對此提出質疑，認為這種固态的神經網絡對安裝精度和環境震動要求比較嚴格，可行性有待考證。
更複雜的光學神經網絡
最後，研究者還計劃擴充全光學的這種方法，進而建構具有複雜架構的大規模全光學深度神經網絡，這些網絡能用于更複雜的圖像識别等任務。該論文的作者說：「盡管我們的工作是概念性驗證，但它展示了全光學神經網絡在未來人工智能中的可能性。下一代的 AI 硬體在本質上應該更快、更低能耗，進而高效支援複雜的 AI 應用。」
參考連結：
https://phys.org/news/2019-08-all-optical-neural-network-deep.html https://spectrum.ieee.org/tech-talk/semiconductors/optoelectronics/ai-at-speed-of-light