天天看點

AI驅動工程系統仿真,人大孫浩團隊開發出知識與資料雙驅動模型

作者:絡繹科學

中國人民大學高瓴人工智能學院長聘副教授孫浩主要從事 AI for Science、人工智能數理基礎與前沿交叉前沿研究。

他提出面向複雜系統科學計算的新型機器學習方法,發展出一系列可用于複雜工程系統科學計算、氣象/天氣預報、科學探索等領域的人工智能系統,進而支撐輔助各個跨學科領域的資訊化轉型、實作落地,并大幅提高工作效率,表現出巨大的社會和經濟效益。

憑借在“AI for Science”的交叉研究、協同解決科學智能計算領域“知識嵌入”和“知識發現”關鍵科學問題,孫浩成為 DeepTech 2022 年“中國智能計算科技創新人物”入選者之一。

AI驅動工程系統仿真,人大孫浩團隊開發出知識與資料雙驅動模型

圖丨DeepTech 2022 年“中國智能計算科技創新人物”入選者孫浩(來源:DeepTech)

為智能計算提供新範式

一般來說,如果将機器學習或深度學習用到複雜的實體系統,通過模組化仿真解決相關問題時,需要豐富的資料進行标注。然而,在實際應用中,标注的資料卻極其稀疏。

這種情況下,如果用傳統的機器學習或深度學習的範式,對其進行學習模組化是行不通的。另一方面,現有的學習範式可解釋性相對較差。

為解決這些問題,孫浩與團隊提出運用先驗實體知識對人工智能模型限制或編碼,發展資料和知識雙驅動智能計算模型,增強了深度學習的外推和泛化性能[1]。他們成功解決了在小訓練樣本下複雜動态系統模組化、非線性偏微分方程正反問題高效求解、資料驅動仿真等關鍵性難題。

AI驅動工程系統仿真,人大孫浩團隊開發出知識與資料雙驅動模型

圖丨基于實體知識編碼的循環卷積神經網絡的架構示意圖(來源:arXiv)

這種新型理論計算架構和方法,如何能夠在極少數樣本的情況下進行學習模組化,并具有一定的可解釋性呢?簡單來說,把現有的基本知識,以合理的方式嵌入到機器學習或學習模型中,讓其形成知識嵌入或知識編碼新模型。

一方面,與之前相比,先驗知識的加入在可解釋性上有所增強。另一方面,由于先驗知識的補充,人們對資料的需求也會大幅度下降。新型的實體知識編碼的深度學習模型可解決複雜實體系統中時空演化的動力問題,例如流體系統、時空演化的系統等。

人工智能的方法絕大多數基于純資料驅動,也就是基于“連接配接主義”所形成的資料驅動的計算的模型及理論。

實際上,知識嵌入學習是把基于符号計算的“符号主義”方法和基于資料計算的“連接配接主義”方法融合,形成了知識嵌入學習。此外,該研究還讨論了一種方法,可從資料中提取目标控制方程或實體定律,進而實作新知識與新定律的發現。

面向科學探索中資料驅動的知識發現需求,他還進一步提出了一套新穎的符号方程學習和推理方法,從稀疏噪聲測量資料中自動挖掘提取未知的定律或控制方程,實作對複雜動力/動态系統的可解釋描述,已成功用于流體、生物化學反應擴散系統、細胞運動、混沌系統等問題。

AI驅動工程系統仿真,人大孫浩團隊開發出知識與資料雙驅動模型

圖丨推理結果的誤差傳播曲線(左)和快照(右)(來源:arXiv)

除了理論、算法、模型方面的工作,目前該團隊在氣象預報等方向做嘗試性應用探索。氣象系統由于具有非線性、混沌效應,是非常複雜的時空演化系統。

孫浩表示:“雖然其測量的資料量很大,但實際上它在描述系統本身。是以,針對系統本身的複雜度而言,測量是很稀疏的。我們在嘗試利用這種新方法,去探索是否能夠為氣象預報提供更精準的預報格式。”

另一方面,該團隊也在嘗試在生物化學反應方面,是否能基于小規模測量樣本解決模組化仿真、反問題求解等任務。

此前,通過基于數值方法的科學計算來設計飛機、橋梁等工程系統,往往需要幾天甚至幾十天,經曆疊代上萬次才能得到最優解。該研究為科學計算提供了新的範式,從應用的角度可以加速設計的程序。将模型訓練好後做推理,可在幾秒鐘甚至更短的時間内完成設計。

“我們的方法相當于為工程系統的反向設計提供了一個高效、快速的仿真器。如果未來該方法發展到一定的程度,可能會産生新工業革命。”孫浩說。

從力學到聚焦智能科學計算領域

實際上,孫浩并不是一開始就從事人工智能與交叉前沿的相關研究。在美國哥倫比亞大學攻讀碩士及博士學位期間,他的主要研究方向是計算力學和動力系統模組化與識别。

2014 年開始,随着深度學習研究的熱潮,孫浩慢慢地開始接觸這個領域。他發現,實際上很多傳統的工程中和力學領域中遇到的問題,都可以通過資料驅動的範式解決。

但與此同時也必須看到,這種範式仍面臨可解釋性差、資料量多等問題。于是,他逐漸思考将知識和定律融合的研究方向。新模型相當于起到了“1+1>2”的效果,其性能分别高于基于純知識或純實體的模型,以及基于純資料的模型。

AI驅動工程系統仿真,人大孫浩團隊開發出知識與資料雙驅動模型

圖丨Physics for AI(來源:孫浩)

近年來,得益于先進傳感技術的發展和物聯網系統的普及,城市基礎設施安全與健康監測系統逐漸形成。但是,如何對監測資料進行有效而高效地同化分析,仍然是一項重大挑戰。

是以,面向國家在資料驅動基礎設施安全與智能化管理的重大需求,發展高效而穩健的資料同化理論和創新算法,以應用為導向開展基礎與應用研究,具有重要的科學意義。

是以,在麻省理工學院做博士後期間,他逐漸确立了智能科學計算的研究方向,包括資料同化機率模型、物聯網系統、機器學習求解反問題等。

他所提出的基于機器學習的物聯網系統,可解決城市基礎設施安全與健康監測中的大資料管理、挖掘、實時多尺度名額化狀态評測等難題,已成功用于多個實際工程場景中,包括麻省理工學院格林大樓健康監測、科威特第一高樓 AL-Hamra 實時安全監測等。

在美國匹茲堡大學和美國東北大學任終身序列助理教授、獨立 PI 後,他上司的研究團隊開始緻力于機理融合人工智能科學計算理論和方法研究,緻力于解決智能科學計算中“知識嵌入”和“知識發現”相關的科學難題。

2021 年,孫浩回國加入中國人民大學高瓴人工智能學院。通過系列研究,他與團隊運用 AI 從資料中加速解開更多潛在的未知定律,為實體、化學、生物、工程應用等學科問題尋找到更多可靠的理論支撐;同時為跨學科領域關鍵應用(如實時短齡天氣預報、熱-磁-流體多實體場模拟、湍流仿真等)提供新的技術支撐。

最近,人工智能大模型異常火熱。孫浩指出,雖然大模型與智能科學計算看起來有些“相悖”,但也可以從中得到一些啟示。

是以,他與團隊也在進行一些科學探索,來确認是不是可以在大模型裡嵌入人類的邏輯知識、先驗知識、已知的定律等,讓它的知識推理和邏輯推理的能力變得更強,以幫助人類做一些科學的新探索。

孫浩指出,在 AI for Science 層面,智能計算相關理論、模型、方法和技術需要具備如下幾個特征:可通用、可解釋、可擴充、可泛化、低資料依賴性。未來的發展趨勢是在發展和實作具備上述特征的新一代人工智能技術的同時,在解決各跨學科、跨領域相關科學探索和工程問題實作突破。

他表示,未來,在“符号主義”上有所突破,才會真正地實作類似人類的推理能力。是以,未來的發展一定是“連接配接主義”與“符号主義”并存,協同融合發展,進而形成一種智能科學計算的新範式。

參考資料:

1. Encoding physics to learn reaction-diffusion processes.

繼續閱讀