編輯：Lumina
【新智元導讀】第四十屆ICML開始了！谷歌DeepMind投中了80多篇論文，讓我們看看都研究了些什麼？
2023年的國際機器學習大會（International Conferenceon Machine Learning，簡稱ICML）在夏威夷檀香山舉辦。
ICML是由國際機器學習學會（International Machine Learning Society，IMLS）主辦的年度機器學習國際頂級會議之一。
ICML創辦于1980年，每年6月中下旬舉行。今年的議程安排在7月23日星期日到29日星期六。
大會關注的領域涵括計算機視覺、統計和資料科學到機器人技術，目的是将人工智能 (AI) 社群聚集在一起，分享新的想法、工具和資料集，并建立聯系以推動該領域的發展。
今年是ICML舉辦的第四十屆會議，大會錄用了1827篇論文。谷歌 DeepMind 的研究人員今年在ICML上發表了80多篇新論文。
谷歌在這次會議上報告的主要亮點有：
具有社會目的的機器學習、預測蛋白質結構的AlphaFold模型、具身語言模型PaLM-E、文本生成視訊的Phenaki模型等。
除了這些，谷歌還将在會議上重點介紹模拟世界中的人工智能、強化學習的未來研究以及人工智能的前沿挑戰中谷歌所做出的貢獻。
下面，就來看看谷歌在這三個方面都做了哪些研究吧！
模拟世界中的人工智能
我們現在看到的能夠成功進行讀取、寫入和創造的人工智能，如ChatGPT等，是在大量的資料集上訓練的基礎模型。
這些基礎模型在監督和自監督學習中表現出了優越的适應性和可擴充性，但到目前為止，這些成功尚未完全轉化為強化學習（RL）。
這意味着以基礎模型為底層運作邏輯的人工智能将難以了解複雜的現實、處理現實中的任務。
谷歌研究人員在這項工作中，證明了大規模訓練 RL 智能體會産生一種通用的上下文學習算法，該算法（AdA）可以像人類一樣快速地适應開放式新穎的具展現實問題。
AdA是一種人工智能代理，可以像人類一樣在模拟環境中适應解決新問題。
它可以承擔具有挑戰性的任務：以新穎的方式組合物體、導航看不見的地形以及與其他玩家合作。
此外，谷歌的另一項研究展示了如何使用視覺語言模型（VLM）來幫助訓練智能體。
通過簡單的提示讓VLM控制監督信号，教導智能體在 3D 渲染環境中根據新物體的名稱（例如平面）或特征（例如顔色）與新物體進行互動。
這些研究将為日益通用和自适應的強化學習智能體奠定基礎，使這些智能體在更大的開放領域中表現更好。
強化學習的未來研究
為了開發負責任且值得信賴的人工智能，必須了解這些系統的核心目标。
在強化學習中，定義系統核心目标的其中一種方法是通過獎勵。
理查德·薩頓（Richard Sutton）提出的獎勵假設認為，所有目标都可以被認為是最大化預期累積獎勵。
谷歌研究人員解釋了假說成立的确切條件，并闡明了強化學習問題的一般形式的獎勵可以（或不能）捕獲的目标類型。
另外，谷歌還在研究中提出：在部署人工智能系統時，需要考慮模型對現實世界的适應性。
是以，谷歌了研究如何在限制條件下更好地訓練強化學習算法，因為人工智能工具通常必須受到安全性和效率的限制。
還探索了如何在不确定的情況下通過不對稱的資訊遊戲（例如撲克）來教授模型複雜的長期政策。
在會議上，谷歌将會示範模型如何在不知道其他玩家的位置和可能的行動的情況下赢得雙人遊戲。
等會議開始，谷歌會玩出什麼花樣，就讓我們拭目以待吧！
人工智能的前沿技術
現有的人工智能基本上都是在一系列打包好的資料集上進行訓練的。像最近大火的大語言模型（LLM），它們能夠學習并預測語言符号之間的聯系，卻很難真的了解語言所指的現實世界。
而人類卻可以輕松地學習、适應和了解我們周圍的世界。
開發能夠以類人方式進行推理的先進人工智能系統，将有助于建立可以在日常生活中使用的人工智能并應對新的挑戰。
谷歌在人工智能的适應性方面，研究了人工智能根據新資訊快速改變其預測和推理的神經網絡的可塑性及其損失的原因。
另一篇論文是研究在統計資料自發變化的資料源（例如自然語言預測中）上進行元訓練的神經網絡。
論文回答了目前的序列預測模型和訓練機制可以在多大程度上解釋大型語言模型中出現的上下文學習類型。
此外，谷歌DeepMind的研究人員提出了一個新的循環神經網絡 (RNN) 系列，它們在長期推理任務上表現更好。
研究人員對标準RNN進行了改進，包括線性化和對角化遞歸，使用更好的參數化和初始化，并確定前向傳遞的正确标準化。
循環神經網絡
最後，在人工智能的強化學習研究中的「分位數信用配置設定」（quantile credit assignment），谷歌研究人員提出了一種将訓練中的運氣與技能分開的方法。
通過在行動、結果和外部因素之間建立更清晰的關系，人工智能可以更好地了解複雜的現實環境。
除了以上重點介紹的研究，還有很多其他的研究.....
80多篇論文實在太多辣！小編截不過來了.....感興趣的就自己去看吧！
附上網址：https://deepmind.events/events/icml-2023/resources#
一路下來，這些研究真是讓人眼花缭亂，讓人知(tou)識(yun)大(nao)漲（zhang）！
參考資料：
https://www.deepmind.com/blog/google-deepmind-research-at-icml-2023