近日，國際人工智能頂級會議 NeurIPS 2018 在加拿大蒙特利爾開幕。今年，除了更改了會議名稱縮寫，與往屆 NIPS 還有所不同的是增加了面向産業的 Expo，以 Talk&Panel、Workshop、Demonstration 的形式展現産業界人工智能研究成果。
百度作為國内最早投身 AI 領域的科技巨頭，今年不僅數篇學術論文入選 NeurIPS 2018，百度大資料實驗室于當地時間 12 月 2 日組織了一場主題為《Common Model Infrastructure》的 Workshop，邀請了來自谷歌、微軟、XPrize 的研究者，就自動機器學習這一專題進行分享，百度方面也介紹了自己在這方面的研究成果。
在 Keynote 演講中，百度大資料實驗室主任浣軍就百度自動深度學習的技術進展 AutoDL 做了分享。百度深度學習技術平台部總監馬豔軍介紹了 2016 年百度開源的深度學習架構 PaddlePaddle，及其産業化應用。
百度打造自動化深度學習引擎 AutoDL
2015 年 ResNet 的出現使得深度學習架構的層數和
超參數數量暴增，這給研究員搭建和調試優化模型帶來了巨大的挑戰。自動化機器學習技術能大幅度地減少研究員搭模組化型的時間，也為那些缺乏深度學習技能的研究團隊提供了一個可以搭建定制化模型的平台。
百度在今年 7 月舉辦的 AI 開發者大會上首次提出 AutoDL 1.0，利用深度學習來設計深度學習網絡架構，并于四個月後的百度世界大會上推出 AutoDL 2.0，進一步完善其功能。浣軍表示，百度提出 AutoDL 的目的是希望通過開放、普惠的人工智能讓更多中小企業同樣能享受到人工智能的紅利。
在演講中，浣軍詳細介紹了 AutoDL 的設計特色和現有能力。AutoDL 主要由三個部分組成：第一部分是模型設計，即
自動化機器學習的神經架構設計方法；第二部分是模型适配，即神經網絡如何根據不同的任務目标和硬體裝置生成與之适配的模型；第三部分模型遷移，即将預訓練好的模型架構應用在特定的小資料集上。
首先是模型設計。和市面上已有的産品相比—包括谷歌的 Cloud AutoML、微軟的 Custom Vision Services、亞馬遜的 Amazon ML、Salesforce 的 TransmogrifAI —AutoDL 從功能上更完整，能實作包括神經網絡結構搜尋、自動模型選擇、和自動超參數調整等功能，AutoDL 設計效果也居于業内前列。
AutoDL 的搜尋方法主要基于深度強化學習，從頭開始搜尋神經網絡架構，即神經架構搜尋。AutoDL 的設計架構中，存在一個「模型編碼器」和「模型測評器」。「模型編碼器」是一個循環神經網絡，将建構架構的子產品組合在一起獲得一個新的網絡架構。「模型測評器」訓練這個架構并且希望模型架構能夠收斂，最後獲得新的準确率會作為獎勵回報給「模型編碼器」。通過這種循環，AutoDL 相比人工搭建與調試能獲得性能更好的模型。
浣軍強調說，為了解決自動化機器學習的設計過程所出現過拟合問題，百度的研究員使用了一組正則化方法，包括混合（mix-up）和搖搖（shake-shake），并且開發了基于 Rademacher 複雜度的正則化，來保證泛化能力。以下是實驗結果。
其次是模型适配。人工智能應用不隻是在雲端，如何讓龐大的、複雜的深度學習模型在邊緣計算以及終端計算上發揮作用，保證模型推理準确性的同時減少模型的規模以适配算力和記憶體較小的硬體裝置，已經成為人工智能技術提供商的主要挑戰。今年，模型壓縮和自動化機器學習兩個領域的交叉研究是工業界熱議的話題（可參見機器之心過去報道的
韓松和李佳的研究）。
浣軍以圖像分類和物體識别問題舉例，百度實作了文獻中的最新進展 3D-FilterMaps。相比于傳統卷積層中的一組獨立過濾器（Filter），從 3D - FilterMap 中提取的過濾器作為重疊的 3D 子矩陣，相鄰過濾器之間的權重共享。由于權重共享，當 3D - FilterMap 生成相同數量的過濾器時，其參數大小比傳統卷積層中要學習的濾波器小得多。3D-FilterMaps 的主要作者現在是百度大資料實驗室的研究員。
實驗證明，在 CIFAR-10 資料集上，壓縮後的 ResNet-50 模型在參數數量隻有 1/6 的情況下，準确率竟然還提升了 0.04%；壓縮後的 DenseNet121 在參數數量隻有 1/5 的情況下，準确率隻降低了 0.03%。
最後是模型遷移。将預訓練好的模型應用在特定的小資料集上是目前主要的遷移方法，它能高效快速地完成部分權重的訓練。由于性能受到了特定資料集大小的限制，目前業内已經研究了一些正則化方法，用 SPAR（起點作為參考）來限制目标網絡的外層權重。
百度大資料實驗室的研究員提出了一種新的
正則化轉移學習架構—Deep Learning Transfer Using Feature Map With Attention (DELTA)，旨在保留目标網絡的外層輸出，而不是限制神經網絡的權重。除了最小化經驗損失之外，DELTA 還可以通過限制由注意力機制精确選擇的特征圖的子集來對齊兩個網絡的外層輸出。實驗結果表明，該方法在新任務中（包括家具分類、商品搜尋分類、重疊細胞分類等）實作了更高的準确率，優于傳統的基準水準。該論文已經遞送至 ICLR 2019 。
在和機器之心的交流中，浣軍表示，内部應用和外部産業是 AutoDL 的實際應用場景。内部應用有百度零基礎定制化訓練和服務平台 Easy DL，一站式開發平台 AI Studio，以及可視化大資料分析與開發環境 Jarvis；外部産業運用則有例如工業品質檢測，醫療健康管理等。
自動化機器學習還有很長的路要走，目前剛剛處于研發落地的階段。浣軍表示，百度将在未來重點關注深度神經網絡本身的不透明、以及自動設計或會帶來的不易解釋性。
百度深度學習技術平台部總監馬豔軍在 Workshop 中也同期做了主題演講。他介紹了 2016 年百度開源的深度學習架構 PaddlePaddle，以及它在産業向的應用。
面向企業與開發者的深度學習平台 PaddlePaddle
2016 年，百度開源 PaddlePaddle 架構，成為國内科技巨頭最早開源的深度學習架構。如今經過兩年的發展，百度 PaddlePaddle 已經走向成熟，成為适合中國開發者和企業的深度學習工具。
今年 7 月，百度開發者大會正式釋出了深度學習平台 PaddlePaddle 3.0，其中開源的新一代深度學習架構 Paddle Fluid 也在不久前更新到了成熟的 1.1.0 版本。馬豔軍在演講中向 NeurIPS 2018 參會者介紹了以深度學習架構為核心的套件 PaddlePaddle Suite，它為開發者（或非開發者）提供了完整的深度學習開發流程。如下所示 PaddlePaddle Suite 自底向上提供了核心架構、子產品和服務平台「三大件」。
馬豔軍表示，該套件從資料預處理到模型部署為深度學習的整個開發和應用流程提供了完整的工具。其中核心架構是從頭構模組化型的基礎，具有安全、高效、表現穩定的特性。而子產品與元件可以幫助快速訓練與試驗模型。
他在研讨會中介紹道，現如今各行各業都在嘗試運用人工智能，PaddlePaddle Suite 最頂層的服務平台會為開發者提供整體流程支援，在他看來，網際網路産業對于人工智能的采用最多。然而，其他産業在相對缺乏專業人才的情況下，EasyDL 可以為完全沒有基礎的使用者提供自動化的機器學習模型。AI Studio 提供了各種競賽教程與免費 GPU 資源；今年百度 7 月份公布的 Auto DL 可通過網絡結構自動化設計技術讓更多中小企業運用 AI。
馬豔軍在接受機器之心專訪時曾表示過，「套件中服務平台、核心架構、子產品及元件三部分都是互相有聯系的，子產品與元件都是依托核心架構所做的工具，而平台是基于核心架構與元件所搭建的系統。例如在元件中，Visual DL 能可視化整個訓練和測試過程，包括損失函數的變化、模型計算圖和中間生成的圖像等。而 PARL 是深度強化學習架構性質的元件，它相當于提供了一套強化學習模型、算法和函數等，這些都還是基于核心架構的。」
此外對于 PaddlePaddle 在技術上的優勢，馬豔軍表示其主要展現在官方模型支援、移動端推理加速和超大規模并行訓練三方面。在官方模型支援上，Paddle 針對推薦系統、視覺任務和自然語言處理等領域維護了大量優秀且穩定的模型。官方支援不僅表示這些模型是沒問題的，同時還表示不論怎樣更新 PaddlePaddle，不論在什麼環境下，這些模型也都是跑得動的。
在移動端加速方面，馬豔軍表示 Paddle Mobile 對移動端硬體的支援基本上是所有架構中最完整的，且現在已經支援最主流的 90% GPU。最後，PaddlePaddle 還在超大規模的并行深度學習上有顯著特色，對超大規模稠密參數和稀疏參數場景都進行了完善的支援，包括大規模異構計算叢集、異步訓練和同步訓練模式、以及千億級稀疏特征任務在數百個節點的并行訓練。
此次 Workshop 是百度大資料實驗室主任浣軍博士與聖地亞哥超算中心資深研究員 Dr. Chaitan Baru 共同組織的。Workshop 演講嘉賓還包括 Google Brain 資深算法工程師 Mr. Quentin de Laroussilhe, Microsoft 資深資料工程師 Mr. Olivier D. Martin，和 XPrize 總經理 Dr. Amir Banifatemi。
小結
除了在 NeurIPS Expo 展會環節組織了一場産學研讨會，作為本屆大會的白金贊助商，百度在為期一周的 NeurIPS 2018 大會上還有諸多技術展示。據機器之心了解，今年百度有數篇論文被 NeurIPS 2018 接收，其中一篇為 Spotlight(3.5%)。此外，在 12 月 2 日的 Expo 中，百度還 demo 示範了他們最新的中英同傳技術。在 Booth 展示中，除了中英同傳技術，百度還向參會者呈現了用于檢測眼底疾病的AI 眼底相機。
本屆NeurIPS上正在積極地釋放着信号：加快人工智能技術落地。産業展會大廳裡絡繹不絕的人群，正能讓我們一窺人工智能愈發寬廣的産業落地與應用。