編輯：編輯部
【新智元導讀】OpenAI内鬥「第二彈」來了？外媒驚曝，OpenAI超級對齊團隊關鍵人物忽然被解雇了，理由是有洩密行為。而且，此人還是Ilya的重要盟友和親信。而身處風暴中心的Ilya，依然未曾露面……
驚天大瓜！
據外媒報道，OpenAI超級對齊團隊的2名研究員，因洩露「機密」被正式開除！
而這也是今年3月Sam Altman重掌董事會席位後，OpenAI首次對外公開的人事變動。
被解雇的研究員之一Leopold Aschenbrenner，曾在新成立的超級對齊團隊工作。
同時，他也是OpenAI首席科學家Ilya Sutskever的支援者，OpenAI内鬥風波後，Ilya至今尚未在公開場合露面。
另一位被解雇的員工Pavel Izmailov，曾負責推理方面的研究，在安全團隊亦有貢獻。
Leopold Aschenbrenner（左）， Pavel Izmailov（右）
值得一提的是，被解雇的這倆人，都是去年OpenAI超級對齊團隊新論文的作者。
不過，目前尚不清楚，兩位被解雇員工具體洩露了哪些資訊。
團隊關鍵人物開除為哪般
OpenAI的發展情況，仍然是穩中向好，勢如破竹，最近一次員工股票出售中，它的估值甚至一度高達860億美元。
而超級對齊團隊（Superalignment），是OpenAI内部一個頗具話題性的部門。
AI發展到最後，如果成為超級智能，好處是或許能幫我們解決核聚變問題，甚至開拓其他星球，但反過來，這麼厲害的它，開始危害人類了怎麼辦？
為此，在去年夏天，Ilya Sutskever成立了這個團隊，來研發控制和指導超級智能的技術。
Aschenbrenner，恰恰就是超級智能對齊團隊的關鍵人物之一。
一個争議就是：這個團隊真的有存在的必要嗎？
OpenAI内部，員工對此意見不一。
此前的内鬥風波，跟這個理念的争議也脫不了幹系。
作為OpenAI聯合創始人、重大技術突破負責人，Ilya曾與其他董事會成員一起，決定解雇Sam Altman，原因是他缺乏坦誠。
而Altman宮鬥歸來、重返CEO之職後，Ilya離開了董事會，從此似乎銷聲匿迹，引來衆多網友的猜疑。
又是「有效利他主義」
耐人尋味的是，事件中的衆多人物，都有「有效利他主義」（Effective Altruism），有着千絲萬縷的關聯。
對齊團隊關鍵人物Aschenbrenner，便是有效利他主義運動的一員。
該運動強調，我們應該優先解決AI潛在的風險，而非追求短期的利潤或生産力增長。
說到這裡，就不能不提大名鼎鼎的币圈大佬、如今淪為階下囚的FTX創始人Sam Bankman-Fried了，他也是有效利他主義的忠實擁趸之一。
19歲時畢業于哥大的Aschenbrenner，曾在SBF建立的慈善基金Future Fund工作，該基金緻力于資助能夠「改善人類長遠前景」的項目。
一年前，Aschenbrenner加入了OpenAI。
而把Altman踢出局的其他董事會成員，也都被發現和有效利他主義有幹系。
比如，Tasha McCauley是Effective Ventures的董事會成員，後者即是有效利他中心的母組織。
而Helen Toner曾在專注于有效利他的Open Philanthropy項目工作。
去年11月Altman重任CEO時，二人也都來開了董事會。
這樣看來，此次Aschenbrenner被開除究竟是因為洩密，還是因為其他原因，就值得探究了。
總之，Sam Altman看來是跟有效利他主義主義的這幫人杠上了——畢竟他們的理念，實在是Altman理想中AGI（甚至ASI）的最大絆腳石。
Leopold Aschenbrenner
Leopold Aschenbrenner還在大三時，便入選了Phi Beta Kappa學會，并被授予John Jay學者稱号。
19歲時，更是以最優等成績（Summa cum laude）從哥倫比亞大學順利畢業。
期間，他不僅獲得了對學術成就授以最高認可的Albert Asher Green獎，并且憑借着「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經濟學最佳畢業論文Romine獎。
此外，他還曾擔任政治學的Robert Y. Shapiro教授和經濟學的Joseph E. Stiglitz教授的研究助理。
Leopold Aschenbrenner來自德國，現居風景優美的加利福尼亞舊金山，志向是為後代保障自由的福祉。
他的興趣相當廣泛，從第一修正案法律到德國曆史，再到拓撲學，以及人工智能。目前的研究專注于實作從弱到強的AI泛化。
Pavel Izmailov
Pavel Izmailov在莫斯科國立大學獲得數學與計算機科學學士學位，在康奈爾大學獲得運籌學碩士學位，并在紐約大學獲得計算機科學博士學位。
他的研究興趣廣泛，包括機器學習核心領域内的多個主題，不過主要還是緻力于深入了解深度神經網絡是如何運作的。
- 提升AI的推理和問題解決能力
- 深度學習模型的可解釋性，涵蓋大語言模型和計算機視覺模型
- 利用AI進行科學發現
- 大規模模型的分布外泛化和魯棒性
- 技術AI對齊
- 機率深度學習、不确定性估計和貝葉斯方法
此外，他所在團隊關于貝葉斯模型選擇方面的工作，更是在2022年的ICML上獲得了傑出論文獎。
加入OpenAI之前，他曾在亞馬遜、谷歌等大廠實習
從2025年秋季開始，Izmailov将加入紐約大學，同時擔任Tandon CSE系助理教授和Courant CS系客座教授，并加入NYU CILVR小組。
用GPT-2監督GPT-4
在這項研究中，OpenAI團隊提出了一個創新性模型對齊方式——用小模型監督大模型。
Leopold Aschenbrenner對此解釋道，直覺告訴我們，超人類人工智能系統應該能「感覺」自己是否在安全地操作。
但是，人類能否僅通過「弱監督」就從強大的模型中提取出這些概念呢？
在未來，AI系統可以處理極其複雜的任務，比如生成一百萬行代碼。
但是人類需要為其行為設定一些限制，不如「不要撒謊」或「不要逃離伺服器」。
而目前，大模型這個黑盒，人類根本無法了解它們的行為，那我們如何實作這些限制？
通常情況下，我們會用人類的标注來訓練AI系統。
但是，相比于那些比我們聰明得多的AI系統，人類隻能算是「弱監督」。
也就是說，在複雜的問題上，人類提供的隻是不完整或有缺陷的标注。
好在，強大的模型已經能夠明顯地，表示出像「這個行動是否危險」這樣的概念。
如此一來，人類就可以要求它說出自己知道的内容，包括那些我們無法直接監督的複雜情況。
為此，團隊設計了一個巧妙的實驗——當我們用一個小模型來監督大模型時，會發生什麼？
強大的模型是否會模仿比它弱的監督者，甚至包括它的錯誤呢？還是說，它能夠泛化到更深層次的任務或概念？
結果，他們驚喜地發現，果然可以利用深度學習的出色泛化能力來獲得幫助。
像GPT-2這種數到十都不會的弱雞模型，都可以來監督能參加聯考的GPT-4，讓它恢複到接近完美标注的80%性能。
不過，目前這種方法隻在某些情況下有效，是以如果我們隻是簡單地應用目前對齊技術（比如RLHF）的話，在超人類模型的擴充上可能遇到困難。
但作者認為，超越弱監督者的泛化是一個普遍現象，而人類可以通過簡單的方法大幅提高泛化能力。
針對這項研究，未來探索的方向可能包括：
- 尋找更好的方法；
- 加深科學了解：我們何時以及為什麼能看到良好的泛化？
- 采用類似的設定：實驗設定與未來超級對齊問題之間還存在重要的不同——我們能解決這些問題嗎？
這項研究讓作者最興奮一點是，他們可以在對齊未來超人類模型的核心挑戰上，取得疊代的實證進展。
很多以前的對齊工作要麼陷入理論，要麼雖然是實證的，但并未直接面對核心挑戰。
比如，在對齊領域有一個長期的觀點是「引導」。（不是直接對齊一個非常聰明的模型，而是首先對齊一個稍微聰明的模型，然後用它來對齊一個中等聰明的模型，依此類推）
現在，雖然還遠遠不夠，但OpenAI研究人員已經可以直接進行測試了。
參考資料：
https://www.theinformation.com/articles/openai-researchers-including-ally-of-sutskever-fired-for-alleged-leaking?rc=epv9gi