關注趨勢的 愛範兒
OpenAI 預言，比人類更聰明的 AI 很有可能在 2030 年前就會出現
面對比人類更聰明的「生物」，你擔心人類的未來會被 AI 統治嗎？
OpenAI 正在組建團隊開發新的工具，為的就是讓未來的 AI 也能遵守人類的道德規範
OpenAI 用一篇部落格概述了他們的想法，也作為一則「招聘啟事」來招募團隊成員
看完後，你又對這一想法有什麼新的建議呢？
Enjoy it!
超智能（Superintelligence）将成為人類有史以來最具影響力的技術，它可以幫助我們解決世界上許多最重要的問題。不過，超智能的巨大力量也可能是非常危險的，它可能導緻人類對 AI 失去控制甚至導緻人類滅絕。
盡管超智能看似還很遙遠，但我們依舊相信它可能在 2030 年前出現。
要解決超智能對人類造成的風險，我們需要建立新的監管方式并解決超智能「對齊」（編者按：「對齊」在原文中的單詞為「Alignment」，指一項讓 AI 能夠了解和遵循人類意圖的技術，以確定 AI 的行為和決策符合人類所期望的結果）的問題：
我們如何確定比人類聰明得多的人工智能會遵循人類的想法？
目前，我們還沒有解決潛在的引導和控制超智能 AI 時問題，來防止 AI 變得不受控制。我們目前用于「對齊」人工智能的技術，比如從人類的回報中自主學習，依賴于人類的能力來監督人工智能。但是，人類在未來無法可靠地監督比我們聰明得多的 AI，是以我們目前的「對齊」技術無法适應超智能。我們需要新的科技突破。
OpenAI 的方法
我們的目标是建構一個與人類大緻相當的「自動對齊研究人員」。然後，我們可以利用大量計算資源來擴充我們的所做的事情，并逐漸對齊超智能。
為了「對齊」第一個「自動對齊研究人員」，我們需要：1）開發可擴充的訓練方法，2）驗證結果模型，3）對我們的整個「對齊」流程進行壓力測試：
1、為了在人類難以評估的問題上提供訓練信号，我們可以利用 AI 來輔助評估其他 AI （可擴充的監督）。此外，我們還希望了解和控制我們的 AI 大模型是如何把我們的監督應用在我們無法監督的任務上（泛化）。
2、為了驗證系統是否「對齊」，我們會自動搜尋有問題的行為（魯棒性）以及問題的深層原因（自動可解釋性）。
3、最後，我們可以通過訓練故意不對齊的模型，來確定我們的技術能夠檢測到最嚴重的「不對齊」（對抗性測試），以測試「自動對齊研究人員」運作的整個流程。
我們預計，随着我們對這個問題的了解越來越多，我們的研究重點将會發生重大變化。同時，我們可能會擴充全新的研究領域。我們計劃在未來分享更多我們的研究路線的相關消息。
一支新的團隊
我們正在組建一個由頂級的機器學習研究者和工程師組成的團隊來應對這個問題。
我們将在未來四年内把 20% 的計算資源投入到解決超智能的「對齊」問題。我們的主要基礎研究押注在我們的「超智能」新團隊上，但正确對待這一點對于實作我們的使命至關重要，我們期望更多團隊做出貢獻，從開發新方法、擴大規模，再到部署。
四年内，解決超智能「對齊」的核心技術挑戰
這是一個令人難以置信的、雄心勃勃的目标，我們還不能保證它一定會成功。但我們依舊樂觀地認為，我們隻要集中精力一起努力就能解決這個問題，有許多想法在初步的實驗中已經展現出了可行性，我們取得了越來越多有用的進展，我們可以使用現在的模型來實證研究許多這樣的問題。
Ilya Sutskever（OpenAI 的聯合創始人和首席科學家）已将此作為他的核心研究重點，并将與 Jan Leike（「對齊」技術的負責人）共同上司該團隊。這個團隊的成員不僅有我們以前的「對齊」團隊的研究人員和工程師，以及公司其他團隊的研究人員。
我們也在尋找優秀的新研究人員和工程師來加入這一計劃。超智能「對齊」從根本上說是一個機器學習問題，我們認為優秀的機器學習專家--即使他們還沒有從事「對齊」相關的工作--也能成為解決這個問題的關鍵。
我們計劃廣泛分享這項工作的成果，同時我們把 OpenAI 模型以外的「對齊」和安全問題作出貢獻視為我們工作的重要組成部分。
這個新團隊的任務是對 OpenAI 現有工作的補充，旨在提高像 ChatGPT 這樣的大模型的安全性，同時逐漸發現和降低 AI 的其他風險，比如濫用、經濟損害、虛假資訊、偏見、歧視、成瘾、過度依賴等。
雖然這個新的團隊将專注于機器學習領域方面的挑戰，讓「超智能」的 AI 與人類的意圖保持一緻，這同樣涉及到部分社會科學問題，是以我們正積極地與跨學科專家進行接觸，以確定我們的技術解決方案會考慮到更廣泛的人類和社會問題。