當深度學習邂逅實體學：機器之心X中科院自動化所技術論壇第一期開講

在過去的一年裡，AI x Science 稱得上是最受關注的領域之一。此前，憑借深度學習技術的加持，來自 DeepMind 公司的 AlphaFold2 極大提高了蛋白質結構的預測精度，這項突破展現出了 AI 在科學領域解決問題的巨大潛力。

人工智能技術為科學領域帶來了系統性機會。生物學之外，在實體、化學、材料、地質等多領域，以深度學習為代表的 AI 與科學計算結合形成了新的計算方法。

為更好地促進學術交流，尤其是交叉學科和前沿工作的同行交流，機器之心與中科院自動化所将聯合舉辦技術論壇系列，嘗試在更輕松和開放的交流氛圍下，邀請研究者分享近期工作，讨論熱點問題。

4月13日10:00 - 12:00，「機器之心 x 中科院自動化所技術論壇」第一期線上上舉辦，以「受實體啟發的深度學習」為主題，特邀清華大學智能産業研究院（AIR）助理教授黃文炳主持，多位領域專家做技術分享，聚焦受實體啟發的深度學習，核心閱聽人為機器學習領域碩博研究所學生。

特邀主持人介紹

黃文炳：清華大學智能産業研究院（AIR）助理教授，博士畢業于清華大學計算機系；主要研究興趣為圖神經網絡與圖模型理論方法及其在實體系統的表示與決策、智能化學藥物發現等任務上的應用；在 NeurIPS，CVPR 等 CCF-A 類國際會議或期刊發表論文30多篇；入選清華大學「水木學者」、騰訊「犀牛鳥通路學者」、微軟亞研院「鑄星計劃」等；曾獲國際會議 IROS 機器人比賽冠軍、騰訊犀牛鳥專項研究卓越獎、NeurIPS Outstanding Reviewer、AAAI 頂級 SPC 等獎項。

特邀嘉賓與主題介紹

分享主題：張量網絡與非監督學習

嘉賓簡介：張潘，中科院理論實體研究所研究員、博士生導師；主要研究方向為統計實體、機器學習與量子計算的交叉領域，提出了基于張量網絡的非監督機器學習模型、基于神經網絡的統計力學方法以及量子計算機的經典模拟新方法；在Physical Review X, Physical Review Letters, PNAS和NeurIPS等期刊與會議上發表論文數十篇。

分享背景：非監督機器學習需要表述資料變量的聯合分布機率，在離散變量下其表示空間次元随着變量數目增加指數增長。在量子實體和統計實體中發展出的張量網絡方法善于使用低秩結構刻畫指數大的線性空間中向量的特征，是以具有在非監督學習任務中得到應用的潛力。

分享摘要：張量網絡在實體中一般用來描述高次元的量子态。很自然地，在機器學習中也可以用來描述離散資料變量的聯合機率分布。張潘将介紹基于矩陣乘積态和樹狀張量網絡的生成模型，然後讨論如何利用張量網絡了解玻爾茲曼機的表述能力，最後将介紹結合自回歸模型與張量網絡的生成模型。

相關論文：

Zhao-Yu Han, Jun Wang, Heng Fan, Lei Wang, and Pan Zhang. Unsupervised Generative Modeling Using Matrix Product States. Phys. Rev. X 8, 031012,2018.

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.8.031012

Sujie Li, Feng Pan, Pengfei Zhou, and Pan Zhang. Boltzmann machines as two-dimensional tensor networks. Phys. Rev. B 104, 075154.2021.

https://journals.aps.org/prb/abstract/10.1103/PhysRevB.104.075154

分享主題：人工神經網絡中的統計實體原理

嘉賓簡介：王闖，中國科學院自動化所副研究員、碩士研究所學生導師；2015年博士畢業于中科院理論實體研究所，2015-19年在哈佛大學做博士後研究，2019年秋入職中科院自動化研究所；主要研究方向為深度學習的基礎理論，圖像的特征表示學習等。在NeurIPS, Phys. Rev. B, JSTAT等機器學習和統計實體領域的會議和期刊上發表數十篇論文。

分享背景：以深度學習為基礎的人工神經網絡模型在近些年有着快速的發展，現已廣泛應用于圖像、語音、自然語言處理等領域，但人們對其内部的基礎數學機理還缺乏透徹的了解。回顧曆史，統計實體用于研究機器學習，尤其是以神經網絡為代表的研究方向，已經将近四十年。從早起的 Hopfield 聯想記憶網絡、玻爾茲曼機，到2021年諾貝爾實體學獎獲得者 G.Parisi 及其合作者發展的副本、空腔方法都極其影響着學者對人工神經網絡機理的了解。現如今以統計實體為基礎結合高維統計的典型性能分析方法，在機率圖模型、團簇劃分、深度學習等機器學習的原理、訓練收斂性和泛化誤差界方面有着快速的發展，也推動了人們了解深度神經網絡模型的内部原理。

分享摘要：深度模型訓練是一個高度非凸的優化問題，是一個伴随着這上百萬個神經元權重之間的互相影響、演化的過程。這一過程可類比大量實體分子的互相作用過程。我們基于非平衡統計實體的随機微分模組化和随機矩陣方法，研究了獨立成分分析、生成對抗模型、随機圖比對圖網絡等算法的收斂過程和優化方法。

H. R. Tan, C. Wang, S. T. Wu, T. Q. Wang, X. Y. Zhang, C. L. Liu, Proxy Graph Matching with Proximal Matching Networks. AAAI,2021

https://ojs.aaai.org/index.php/AAAI/article/view/17179

C. Wang, H. Hu, Y. M. Lu., A Solvable High-Dimensional Model of GAN. NeurIPS ,2019

https://proceedings.neurips.cc/paper/2019/hash/6b3c49bdba5be0d322334e30c459f8bd-Abstract.html

C. Wang, Y. C. Eldar, Y. M. Lu, Subspace Estimation From Incomplete Observations: A High-Dimensional Analysis, IEEE Journal of Selected Topics in Signal Processing, vol. 12, no. 6, pp. 1240-1252, Dec. 2018

https://ieeexplore.ieee.org/abstract/document/8502097

分享主題：利用深度動态模型中的對稱性來提高模型泛化性能

嘉賓簡介：虞琦（Rose Yu），加州大學聖地亞哥分校計算機科學與工程系助理教授；緻力于推進用于大規模時空資料分析的機器學習技術，并将其應用于可持續發展、健康和實體學領域；重點研究實體知識指導下的人工智能（physics-guided AI），旨在将第一性原理與資料驅動模型相結合；曾獲摩根大通、Facebook、谷歌、亞馬遜和 Adobe 頒發的 Faculty Research Award，多個最佳論文獎，并被提名為「麻省理工學院 EECS 新星」之一。

分享背景：動态系統模組化在流體動力學、流行病學、經濟學和神經科學等很多領域中至關重要。然而，許多動态系統由非線性微分方程組構成，難以進行數值模拟。是以，對其進行準确的數值計算需要手工調試，并且需要較長的計算時間。最近有很多工作使用深度學習來加速求解微分方程，但現有方法難以泛化，其根本原因是實體資料沒有可供參考的資料規範與标準架構。例如，我們不清楚如何旋轉流體流動的樣本以使其方向保持一緻。是以，現實世界中位于分布以外的測試資料很難與訓練資料對齊。

分享摘要：目前用于時空預測的深度學習模型難以泛化。它們隻适用于特定領域，在參數、外力或邊界條件不同的系統中進行預測就會失效。本次演講中，我将讨論如何利用對稱性作為歸納偏好（inductive bias）來提升深度動态模型的泛化性能。我還将展示這些模型在預測湍流和真實海洋資料等具有挑戰性的任務中的應用。

相關連接配接：

Wang, R., Walters, R., & Yu, R. Incorporating Symmetry into Deep Dynamics Models for Improved Generalization. In International Conference on Learning Representations (ICLR) 2021

https://openreview.net/pdf?id=wta_8Hx2KD

Wang, R., Walters, R., & Yu, R. . Meta-Learning Dynamics Forecasting Using Task Inference. arXiv preprint arXiv:2102.10271. 2021

https://arxiv.org/pdf/2102.10271.pdf

Dehmamy, N., Walters, R., Liu, Y., Wang, D., & Yu, R. (2021). Automatic Symmetry Discovery with Lie Algebra Convolutional Network. Advances in Neural Information Processing Systems (NeurIPS), 2021

https://proceedings.neurips.cc/paper/2021/file/148148d62be67e0916a833931bd32b26-Paper.pdf

分享主題：受實體啟發的機器學習

嘉賓簡介：陸路（Lu Lu），現任賓夕法尼亞大學化學和生物分子工程系助理教授，同時在該校計算科學研究所和應用數學與計算科學研究所學生組任職；2020年至2021年在 MIT 數學系擔任應用數學講師。陸路具有交叉學科的背景研究，包括應用數學、實體、計算生物學和計算機科學；目前的研究聚焦科學機器學習（scientific machine learning），包括理論、算法和軟體及其在工程、實體和生物問題中的應用；2020年獲得布朗大學應用數學博士學位，布朗大學工程、應用數學和計算機科學碩士學位，2013年大學畢業于清華大學（熱能和經濟學雙學位、計算機輔修）。

分享背景：盡管傳統的數值方法在求解偏微分方程（PDE）上已經取得了很大進展，但目前仍然存在一些局限，比如無法将額外的資料資訊無縫地融合到數值算法中、複雜網格仍然難以友善地生成、難以求解高維的PDE。此外，對于 PDE 反問題的求解，算法實作複雜，計算量大，精度也有待提高。機器學習是一種很有前景的替代方法，但是深度神經網絡的訓練往往需要大量資料；而在很多科學問題中，資料卻難以獲得。我們可以将實體知識（比如實體定律、PDE或者簡化的數學模型）嵌入神經網絡，進而設計出更好的機器學習模型。這些模型可以自動滿足一些實體不變量，可以被更快地訓練，達到更好的準确性。

分享摘要：本次演講中，我将回顧将實體學知識嵌入機器學習的一些流行趨勢，介紹一些常用方法，包括受實體啟發的神經網絡（physics-informed neural network，PINN）、多保真度神經網絡（multi-fidelity neural network，MFNN）和深度算子網絡（deep operator network，DeepONet）。我還将讨論受實體啟發的學習算法在正向和逆向多實體場問題和多尺度問題中的一些應用。