新智元報道
來源：中國科學院自動化研究所
【新智元導讀】在國際人工智能頂級會議AAAI 2022中，自動化所共有21篇論文被收錄，本文将對部分論文進行簡要梳理介紹，與各位共同交流領域前沿進展。
計算機視覺
01
基于再查詢機制的一體化多目标跟蹤算法
One More Check: Making “Fake Background” Be Tracked Again
研究簡介
近年來，将檢測和ReID統一到一個網絡之中來完成多目标跟蹤的方法取得了巨大的突破，且引起了研究人員的廣泛關注。然而目前的一體化跟蹤器僅依賴于單幀圖檔進行目标檢測，在遇到一些現實場景的幹擾，如運動模糊、目标互相遮擋時，往往容易失效。一旦檢測方法因為特征的不可靠而将目前幀的目标錯判成背景時，難免會破壞目标所對應的軌迹的連貫性。
在本文中，我們提出了一個再查詢網絡來召回被錯分為“假背景”的目标框。該再查詢網絡創新性地将ID向量的功能從比對擴充到運動預測，進而實作以較小的計算開銷将已有目标的軌迹有效地傳播到目前幀。而通過ID向量為媒介進行時序資訊傳播，所生成的遷移資訊有效地防止了模型過度依賴于檢測結果。是以，再查詢網絡有助于一體化方法召回“假背景”同時修複破碎的軌迹。
基于已有的一體化方法CSTrack，本文建構了一個新穎且高性能的一體化跟蹤器，其在MOT16和MOT17兩個基準上分别取得了巨大的增益，即相比于CSTrack，MOTA分數從70.7/70.6提高到76.4/76.3。此外，它還取得了新SOTA的MOTA和IDF1性能。
其代碼已開源在：
https://github.com/JudasDie/SOTS
作者：Chao Liang , Zhipeng Zhang , Xue Zhou, Bing Li, Weiming Hu
02
從目标中學習: 用于小樣本語義分割的雙原型網絡
Learning from the Target: Dual Prototype Network for Few Shot Semantic Segmentation
由于标注樣本的稀缺，支援集和查詢集之間的樣本差異（目标的外觀，尺寸，視角等）成為小樣本語義分割的主要難點。現有的基于原型的方法大多隻從支援集特征中挖掘原型，而忽略了利用來自查詢集樣本的資訊，是以無法解決這個由樣本間差異帶來的痛點。
在本文中，我們提出了一種雙原型網絡 (DPNet)，它從一個新穎的角度來處理小樣本語義分割問題，即在從支援集中提取原型的基礎上，進一步提出了從查詢圖像中提取可靠的前景資訊作為僞原型。
為了實作這一目的，我們設計了循環比較子產品，通過兩次比對過程篩選出符合要求的前景查詢特征，并利用這些前景特征生成僞原型。然後根據原型與僞原型之間的内在關聯，利用原型互動子產品對原型與僞原型的資訊進行互動整合。最後，引入一個多尺度融合子產品，在原型(僞原型)與查詢特征的密集比較過程中引入上下文資訊，以獲得更好的分割結果。
在兩個标準資料集 (PASCAL-5i, COCO-20i)上進行的大量實驗表明，我們的方法取得了優越的性能，證明了提出方法的有效性。
作者：Binjie Mao，Xinbang Zhang，Lingfeng Wang，Qian Zhang, Shiming Xiang, Chunhong Pan
DPNet的網絡架構圖
03
基于模态特定資訊增強的多模态行人重識别
Interact, Embed, and EnlargE (IEEE): Boosting Modality-specific Representations for Multi-Modal Person Re-identification
多模态行人重識别通過引入模态互補資訊來輔助傳統的單模态重識别任務。現有的多模态方法在融合不同模态特征的過程中忽略模态特異資訊的重要性。為此，我們提出了一種新方法來增強多模态行人重識别的模态特定資訊表示(IEEE)：互動(Interact)、嵌入(Embed)和擴大(EnlargE)。
首先，提出了一種新穎的跨模态互動子產品，用于在特征提取階段在不同模态之間交換有用的資訊。其次，提出了一種基于關系的嵌入子產品，通過将全局特征嵌入到細粒度的局部資訊中來增強模态特異特征的豐富度。最後，提出了一種新穎的多模态邊界損失，通過擴大類内不同模态的差異來迫使網絡學習每種模态的模态特定資訊。在真實的和建構的行人重識别資料集上優越性驗證了所提出方法的有效性。
作者：Zi Wang, Chenglong Li, Aihua Zheng, Ran He, Jin Tang
04
面向人體活動識别的跨模态聯邦學習
Cross-Modal Federated Human Activity Recognition via Modality-Agnostic and Modality-Specific Representation Learning
為了在更多本地用戶端上進行人體活動識别，我們提出一個新的面向人體活動識别的跨模态聯邦學習任務。為了解決這一新問題，我們提出一種特征解糾纏的活動識别網絡(FDARN)，模型由共有特征編碼器、私有特征編碼器、模态判别器、共享活動分類器和私有活動分類器五個子產品組成。
共有特征編碼器的目标是協同學習不同用戶端樣本的模态無關特征；私有特征編碼器旨在學習不能在用戶端之間共享的模态獨有特征；模态鑒别器的作用是以對抗學習的方式指導共有特征編碼器和私有特征編碼器的參數學習。
通過采用球面模态判别損失的去中心化優化，我們提出的方法可以綜合利用模态無關的用戶端共享特征以及模态特有的判别特征，是以可以得到在不同用戶端上具有更強泛化能力的模型。在四個資料集上的實驗結果充分表明了該方法的有效性。
作者：Xiaoshan Yang, Baochen Xiong, Yi Huang, Changsheng Xu
05
Evo-ViT：基于快速-慢速雙流更新的視覺Transformer動态加速政策
Evo-ViT: Slow-Fast Token Evolution for Dynamic Vision Transformer
視覺Transformer通過自注意力機制捕獲長程視覺依賴的能力使其在各種計算機視覺任務中顯示出巨大的潛力，但是長程感受野同樣帶來了巨大的計算開銷，特别是對于高分辨率視覺任務。為了能夠在盡量保持原有模型準确率的前提下，降低模型計算複雜度，進而使得視覺 Transformer成為一種更加通用、高效、低廉的解決架構，目前工作分為基于空間結構先驗的結構化壓縮和非結構化特征裁剪兩個主流方向。其中，非結構化的特征裁剪破壞了二維空間結構，使得這類裁剪方法不能适用于基于空間結構先驗的結構化壓縮的模型，而目前主流的先進視覺Transformer都應用了結構化壓縮。此外，直接裁剪帶來的不完整的資訊流使得目前的特征裁剪方法無法直接訓練得到很好的效果，而要依賴于未裁剪的預訓練模型。
為了解決這些問題，我們提出了快速-慢速雙流辨別更新政策，在保持了完整空間結構的同時給高資訊量辨別和低資訊量辨別配置設定不同的計算通道，進而在不改變網絡結構的情況下，以極低的精度損失大幅提升直筒狀和金字塔壓縮型的Transformer模型推理性能。不同于以往方法需要依靠外部的可學習網絡來對每一層的辨別進行選擇，我們進一步提出了基于Transformer原生的全局類注意力的辨別選擇政策來增強層間的通信聯系，進而使得我們的方法可以在穩定辨別選擇的同時去除了外部可學習參數帶來的直接訓練難的問題。
該算法能夠在保證分類準确率損失較小的情況下，大幅提升各種結構Transformer的推理速度，如在ImageNet-1K資料集下，Evo-ViT可以提升DeiT-S 60%推理速度的同時僅僅損失0.4%的精度。
作者：Yifan Xu, Zhijie Zhang, Mengdan Zhang, Kekai Sheng, Ke Li, Weiming Dong, Liqing Zhang, Changsheng Xu, Xing Sun
06
基于圖卷積網絡及熱力圖回歸的3D人臉關鍵點檢測
Learning to detect 3D facial landmarks via heatmap regression with Graph Convolutional Network
三維人臉關鍵點檢測廣泛應用于人臉配準、人臉形狀分析、人臉識别等多個研究領域。現有的關鍵點檢測方法大多涉及傳統特征和三維人臉模型(3DMM)，其性能受限于手工制作的中間表征量。
本文提出了一種新的三維人臉關鍵點檢測的方法，該方法利用精心設計的圖卷積網絡，直接從三維點雲中定位關鍵點的坐标。熱力圖是三維人臉上每個地标距離的高斯函數，圖卷積網絡在建構的三維熱力圖的幫助下可以自适應學習幾何特征，用于三維人臉關鍵點檢測。在此基礎上，我們進一步探索了局部曲面展開與曲面配準子產品，從3D熱力圖中直接回歸3D坐标。
實驗證明，該方法在BU-3DFE和FRGC資料集上的關鍵點定位精度和穩定性明顯優于現有方法，并在最近的大規模資料集FaceScape上取得了較高的檢測精度。
作者：YuanWang, Min Cao, Zhenfeng Fan, Silong Peng
07
基于因果關聯及混雜因子傳遞解耦實體動力學的反事實預測
Deconfounding Physical Dynamics with Global Causal Relation and Confounder Transmission for Counterfactual Prediction
發現潛在的因果關系是推理周圍環境和預測實體世界未來狀态的基礎能力。基于視覺輸入的反事實預測根據過去未出現的情況推斷未來狀态，是因果關系任務中的重要組成部分。
本文研究了實體動力學中的混雜影響因子，包括品質、摩擦系數等，建立幹預變量和未來狀态之間的關聯關系，進而提出了一種包含全局因果關系注意力（GCRA）和混雜因子傳輸結構（CTS）的神經網絡架構。GCRA尋找不同變量之間的潛在因果關聯，通過捕獲空域和時序資訊來估計混雜因子。CTS以殘差的方式整合和傳輸學習到的混雜因子，在反事實預測過程中，通過編碼對網絡中對象位置進行限制。
實驗證明，在混雜因子真實值未知的情況下，本文的方法能夠充分學習并利用混雜因子形成的限制，在相關資料集的預測任務上取得了目前最優的性能，并可以較好地泛化到新的環境，實作良好的預測精度。
作者：Zongzhao Li, Xiangyu Zhu, Zhen Lei(Corresponding author), Zhaoxiang Zhang
08
基于多相機系統的全局運動平均算法
MMA: Multi-camera Based Global Motion Averaging
為了實作三維場景的完全感覺，在自動駕駛汽車和智能機器人等裝置中通常會安裝多相機系統以觀察周圍360度的場景。基于多相機之間剛性固定的限制，我們提出了一種全局式的多相機運動平均算法，以實作全自動的大規模場景快速魯棒模組化和多相機标定。
首先，根據拍攝相機的不同将圖像分為參考圖像和非參考圖像，進而将場景圖中的邊劃分成四類。針對每一類邊上的多相機相對極幾何限制，我們進行了重新的推導和展示。基于相對旋轉和絕對旋轉之間的限制，我們提出了一種基于多相機的旋轉平均算法，并通過一種兩階段（L1+IRLS）的方式對它進行求解。基于相對平移和絕對位置之間的限制，我們提出了一種基于多相機的平移平均算法，通過求解L1範數下的優化方程獲得所有的錄影機位姿。
我們在公開的自動駕駛資料集和多組自采的多相機資料集上進行了廣泛的測試和對比，顯示我們的模組化精度和魯棒性要遠遠好于傳統方法。
作者：Hainan Cui, Shuhan Shen
09
基于解耦的屬性特征的魯棒的行人屬性識别
Learning Disentangled Attribute Representations for Robust Pedestrian Attribute Recognition
盡管學界已經提出了各種行人屬性識别的方法，但大多數研究都遵循相同的特征學習機制，即學習一個共享的行人圖像特征來對多個屬性進行分類。然而，這種機制導緻了推理階段的低可信度預測和模型的非穩健性。
在本文中，我們研究了為什麼會出現這種情況。我們從數學上發現，核心原因是在最小化分類損失的情況下，最佳共享特征不能同時與多個分類器保持高相似度。此外，這種特征學習機制忽略了不同屬性之間的空間和語義差別。
為了解決這些局限性，我們提出了一個新穎的分離屬性特征學習（DAFL）架構，為每個屬性學習一個分離的特征，該架構利用了屬性的語義和空間特征。該架構主要由可學習的語義查詢、級聯式語義空間交叉注意（SSCA）子產品和群體注意合并（GAM）子產品組成。具體來說，基于可學習語義查詢，級聯式SSCA子產品疊代地增強了屬性相關區域的空間定位，并将區域特征聚合為多個分解的屬性特征，用于分類和更新可學習語義查詢。GAM子產品根據空間分布将屬性分成小組，并利用可靠的小組注意力來監督查詢注意力圖。在PETA、RAPv1、PA100k和RAPv2上的實驗表明，所提出的方法與最先進的方法相比表現良好。
作者：Jian Jia, Naiyu Gao, Fei He, Xiaotang Chen, Kaiqi Huang
10
基于對象查詢傳播的高性能視訊物體檢測
QueryProp: Object Query Propagation for High-Performance Video Object Detection
視訊物體檢測旨找出視訊每一幀中包含物體的位置和類别，是一個重要且具有挑戰性的任務。傳統方法主要聚焦于設計圖像級别或者物體框級别的相鄰幀資訊傳播方法，以利用視訊時序資訊來提升檢測器。本文認為，通過更有效和高效的特征傳播架構，視訊物體檢測器可以在準确性和速度方面獲得提升。
為此，本文研究了對象級特征傳播，并提出了一種用于高性能視訊物體檢測的對象查詢傳播（QueryProp）架構。提出的QueryProp包含兩種傳播政策：1）對象查詢從稀疏關鍵幀傳播至密集非關鍵幀，以減少對非關鍵幀的備援計算；2）對象查詢從之前的關鍵幀傳播至目前關鍵幀，以模組化時間上下文來提升特征表示。
為了進一步提升查詢傳播的品質，我們設計了自适應傳播門以實作靈活的關鍵幀選擇。我們在視訊物體檢測的大規模資料集 ImageNet VID 上進行了大量實驗。QueryProp 與目前最先進的方法實作了可比的準确性，并在準确性/速度之間取得了不錯的平衡。
作者：Fei He, Naiyu Gao, Jian Jia, Xin Zhao, Kaiqi Huang
11
基于空間相似性的完全稀疏訓練加速
Towards Fully Sparse Training: Information Restoration with Spatial Similarity
英偉達安培架構釋出的2:4結構化稀疏模式，要求連續的四個值至少包含兩個零元素，可以使得矩陣乘法的計算吞吐量翻倍。最近的工作主要集中在通過2:4稀疏性來提高推理速度，而忽視了其在訓練加速方面的潛力，因為反向傳播占據了大約70%的訓練時間。然而，與推理階段不同，由于需要保持梯度的保真度并減少線上執行2:4稀疏的額外開銷，用結構化剪枝來提高訓練速度是不容易的。
本文首次提出了完全稀疏訓練，其中"完全"是指在保持精度的同時，對前向和後向傳播的所有矩陣乘法進行結構化修剪。為此，我們從顯著性分析開始，研究不同的稀疏對象對結構化修剪的敏感性。基于對激活的空間相似性的觀察，我們提出用固定的2:4掩碼來修剪激活。此外，我們還提出了一個資訊恢複子產品來恢複丢失的資訊，該子產品可以通過有效的梯度移位操作來實作。對準确性和效率的評估表明，在具有挑戰性的大規模分類和檢測任務中，我們可以實作2倍的訓練加速，而準确性的下降可以忽略不計。
作者：Weixiang Xu, Xiangyu He, Ke Cheng, Peisong Wang, Jian Cheng
12
通過學習深度神經網絡在語義分割中學習噪聲标簽的元結構
Deep Neural Networks Learn Meta-Structures from Noisy Labels in Semantic Segmentatio
關于深度神經網絡（DNN）如何從帶噪标簽中進行學習，大部分研究聚焦于圖像分類而不是語義分割。迄今為止，我們對于深度神經網絡在噪聲分割标簽下的學習行為仍然知之甚少。
在本研究中，為填補這一空白，我們研究了生物顯微圖像的二類語義分割和自然場景圖像下的多類語義分割。通過從幹淨标簽中随機抽樣一小部分（例如10%）或随機翻轉一大部分（例如90%）像素标簽，我們合成了信噪比極低的噪聲标簽。當使用這些低信噪比标簽訓練DNN時，我們發現模型的分割性能幾乎沒有下降。這表明DNN在基于監督學習的語義分割中是從标簽中學習語義類别的結構資訊，而不僅僅是像素資訊。我們将上述标簽中隐含的結構資訊稱為元結構。當我們對标簽中的元結構進行不同程度的擾動，我們發現模型的分割性能出現不同程度的下降。而當我們在标簽中融入元結構時，可以極大提高基于無監督學習的二類語義分割模型的性能。我們将元結構在數學上定義為點集的空間分布函數，并在理論上和實驗中證明該數學模型可以很好的解釋我們在本研究中觀察到的深度神經網絡的學習行為。
作者：Yaoru Luo, Guole Liu, Yuanhao Guo, Ge Yang
自然語言處理
基于參數分化的多語言神經機器翻譯
Parameter Differentiation based Multilingual Neural Machine Translation
多語言神經機器翻譯旨在通過一個共享的模型同時處理多個語言的翻譯，并通過共享的參數實作不同語言之間的知識遷移。但是，模型中哪些參數需要共享，哪些參數是語言獨有的，仍是一個開放性問題。目前，通常的做法是啟發式地設計或者搜尋語言特定地子產品，但很難找到一個最優的參數共享政策。
在本文中，我們提出一個新穎的基于參數分化的方法，該方法允許模型在訓練的過程中決定哪些參數應該是語言特定的。受到細胞分化的啟發，在我們的方法中，每個通用的參數都可以動态分化為語言特定的參數。我們進一步将參數分化準則定義為任務間梯度相似性。如果一個參數上不同任務的梯度出現沖突，那麼這個參數更有可能分化為語言特定的類型。在多語言資料集上的實驗表明我們的方法相比于基線方法取得了較大的提升。分析實驗進一步揭示了我們的方法生成的參數共享政策和語言學特征的相似性具有緊密的關系。
作者：Qian Wang, Jiajun Zhang
基于特征消除方法的大腦詞彙文法表征研究
Probing Word Syntactic Representations in the Brain by a Feature Elimination Method
神經影像研究發現大腦在了解語言時，多個腦區與語義和文法處理相關。然而，現有的方法不能探索詞性和依存關系等細粒度詞彙文法特征的神經基礎。
本文提出了一種新的架構來研究不同詞彙文法特征在大腦中的表征。為了分離不同句法特征，我們提出了一種特征消除方法——均值向量零空間投影（MVNP），來消除詞向量中的某一特征。然後，我們分别将消除某一特征的詞向量和原始詞向量與大腦成像資料聯系起來，以探索大腦如何表示被消除的特征。本文首次在同一實驗中同時研究了多個細粒度文法特征的皮層表征，并提出了多個腦區在文法處理分工中的可能貢獻。這些發現表明，文法資訊處理的大腦基礎可能比經典研究所涉及的更為廣泛。
作者：Xiaohan Zhang, Shaonan Wang, Nan Lin, Jiajun Zhang, Chengqing Zong
機器學習
多尺度動态編碼助力脈沖網絡實作高效強化學習
Multi-scale Dynamic Coding improved Spiking Actor Network for Reinforcement Learning
在深度神經網絡（DNN）的幫助下，深度強化學習 (DRL) 在許多複雜任務上取得了巨大成功，如遊戲任務和機器人控制任務。DNN被認為隻是部分受到了大腦結構和功能的啟發，與之相比，脈沖神經網絡 (Spiking Neural Network，SNN) 考慮了更多的生物細節，包括具有複雜動力學的脈沖神經元和生物合理的可塑性學習方法。
受生物大腦中細胞叢集（Cell Assembly）高效計算的啟發，我們提出了一種多尺度動态編碼方法來提升脈沖人工網絡（MDC-SAN）模型，并應用于強化學習以實作高效決策。多尺度表現為網絡尺度的群體編碼和神經元尺度的動态神經元編碼（包含二階神經元動力學），可以幫助SNN形成更加強大的時空狀态空間表示。大量實驗結果表明，我們的 MDC-SAN 在 OpenAI Gym的四個連續控制任務上取得了相比無編碼SNN和相同參數下DNN更好的性能。
我們認為這是一次從生物高效編碼角度探讨網絡性能提升的有效嘗試，就像在生物網絡中一樣，前期的複雜化資訊編碼可以讓後期的智能決策變得更簡單。
作者：Duzhen Zhang, Tielin Zhang, Shuncheng Jia, Bo Xu
詳細解讀
點選即可檢視
AlphaHoldem: 端到端強化學習驅動的高性能兩人無限注撲克人工智能
AlphaHoldem: High-Performance Artificial Intelligence for Heads-Up No-Limit Poker via End-to-End Reinforcement Learning
無限注德州撲克（HUNL）是一個典型的不完美資訊博弈。之前的代表性工作如DeepStack和Libratus嚴重依賴于反事實遺憾最小化(CFR)算法及其變體來求解。然而，由于CFR疊代的計算成本高昂，使得後續研究人員很難在HUNL中學習CFR模型，并将該算法應用于其他實際問題。
在這項工作中，我們提出了一個高性能和輕量級的德州撲克人工智能AlphaHoldem。AlphaHolddem是一種端到端的自學習強化學習架構，采用了一種僞孿生網絡結構，通過将學習到的模型與不同的曆史版本進行對打，直接從輸入狀态資訊學習到輸出的動作。
文章的主要技術貢獻包括一種新的手牌和投注資訊的狀态表示、一種多任務的自我遊戲訓練損失函數，以及一種新的模型評估和選擇度量來生成最終的模型。在10萬手撲克的研究中，AlphaHoldem隻用了三天的訓練就擊敗了Slumbot和DeepStack。與此同時，AlphaHoldem隻使用一個CPU核心進行每個決策僅需要4毫秒，比DeepStack快1000多倍。我們将提供一個線上開放測試平台，以促進在這個方向上的進一步研究。
作者：Enmin Zhao, Renye Yan, Jinqiu Li, Kai Li, Junliang Xing
AutoCFR：通過學習設計反事實後悔值最小化算法
AutoCFR: Learning to Design Counterfactual Regret Minimization Algorithms
反事實遺憾最小化（Counterfactual Regret Minimization, CFR）算法是最常用的近似求解兩人零和不完美資訊博弈的算法。近年來，人們提出了一系列新的CFR變體如CFR+、Lienar CFR、DCFR，顯著提高了樸素CFR算法的收斂速度。然而，這些新的變體大多是由研究人員基于不同的動機通過反複試錯來手工設計的，通常需要花費大量和時間精力和洞察力。
這項工作提出采用演化學習來元學習新的CFR算法，進而減輕人工設計算法的負擔。我們首先設計了一種豐富的搜素語言來表示現有的手工設計的CFR變體。然後我們利用可擴充的演化算法以及一系列加速技術，在這種語言所定義的算法的組合空間中進行高效地搜尋。學習到的新的CFR算法可以泛化到訓練期間沒有見過的新的不完美資訊博弈遊戲下，并與現有的的最先進的CFR變體表現相當或更好。
作者：Hang Xu, Kai Li, Haobo Fu, Qiang Fu, Junliang Xing
基于對戰老虎機方法學習頂級Elo評級
Learning to Identify Top Elo Ratings as A Dueling Bandits Problem
Elo 評分系統被廣泛用于評估（國際象棋）遊戲和體育競技中玩家的技能。最近，它還被內建到機器學習算法中，用于評估計算機化的 AI 智能體的性能。然而，準确估計 Elo 等級分（對于頂級玩家）通常需要較多輪比賽，而采集多輪對戰資訊的代價可能是昂貴的。
在本文中，為了盡量減少比較次數并提高 Elo 評估的樣本效率（針對頂級玩家），我們提出了一種高效的線上比對排程算法。具體來說，我們通過對戰老虎機（dueling bandits）架構識别和比對頂級玩家，并根據 Elo 基于梯度的更新方式來設計老虎機算法。我們表明，與傳統的需要 O(t) 時間的最大似然估計相比，我們能夠将每步記憶體和時間複雜度降低到常數。我們的算法有一個遺憾（regret）保證 O (√T) （O 忽略對數因子），與比賽輪數是次線性相關。并且算法已經被擴充到處理非傳遞性遊戲的多元 Elo 評級。實驗結果證明我們的方法在各種遊戲任務上實作了較優的收斂速度和時間效率。
作者：Xue Yan, Yali Du, Binxin Ru, Jun Wang, Haifeng Zhang, Xu Chen
DPNAS：面向差分隐私深度學習的神經網絡結構搜尋
DPNAS：Neural Architecture Search for Deep Learning with Differential Privacy
在保證有意義的差分隐私（DP）條件下訓練深度神經網絡（DNN）通常會嚴重降低模型的精度。在本文中我們指出，在面向隐私保護的深度學習中，DNN的拓撲結構對訓練得到的模型精度有顯著影響，而這種影響在以前的研究中基本未被探索。
鑒于這一缺失，我們提出了第一個面向隐私保護深度學習的神經網絡設計架構DPNAS。該架構采用神經網絡架構搜尋來自動設計隐私保護深度學習模型。為了将隐私保護學習方法與網絡架構搜尋相結合，我們精心設計了一個新的搜尋空間，并提出了一種基于DP的候選模型訓練方法。我們通過實驗證明了所提出架構的有效性。搜尋得到的模型DPNASNet實作了最先進的隐私/效用權衡，例如，在（ ，δ）=（3,1×10^-5）的隐私預算下，我們的模型在MNIST上的測試準确率為98.57%，在FashionMNIST上的測試準确率為88.09%，在CIFAR-10上的測試準确率為68.33%。此外，通過研究所學生成的網絡結構，我們提供了一些關于隐私保護學習友好的DNN的有趣發現，這可以為滿足差分隐私的深度學習模型設計提供新的思路。
作者：Anda Cheng, Jiaxing Wang, Xi Sheryl Zhang, Qiang Chen, Peisong Wang, Jian Cheng