Anthropic首席執行官：從OpenAI離職創辦競對大模型的前因後果

鞭牛士 9月27日消息，亞馬遜近期向OpenAI最大競争對手大模型公司Anthropic投資了280億元，後者以擁有對标ChatGPT的聊天機器人Claude而聞名。

微軟在OpenAI持股49%，亞馬遜力挺Anthropic，看起來初創大模型企業之間的競争其實也是老牌科技企業之間的暗戰，但毋庸置疑的是，大模型創業已經成為炙手可熱的新興戰場。

财富雜志近期對Anthropic的首席執行官達裡奧·阿莫迪（Dario Amodei）進行了專訪，以期幫助讀者獲得對這家知名度并不如OpenAI的公司更多資訊。

Dario Amodei于2021年2月創辦了Anthropic公司，擔任CEO職位。他是OpenAI的前核心成員，也被認為是深度學習領域最為前沿的研究員之一。曾發表多篇AI可解釋性、安全等方面的論文，離職前在OpenAI擔任研究副總裁。

在此之前，Dario還曾在百度擔任研究員，在百度前首席科學家吳恩達手下工作。

Dario Amodei博士畢業于普林斯頓大學，後回到大學畢業的斯坦福大學擔任博士後學者。

以下為全文：

Dario Amodei辭去了OpenAI的工作，因為他想建立一個更可信的模型。

2021年，他與姐姐Daniela和其他OpenAI的前員工一起建立了Anthropic。該公司迅速成長為一個巨大的競争對手，從谷歌、亞馬遜籌集了數十億美元資金。

阿莫迪告訴《财富》雜志記者傑裡米·卡恩關于對OpenAI的擔憂，正是這些擔憂導緻他啟動了Anthropic。他還介紹了Claude，這是該公司的聊天機器人，可以在一分鐘内閱讀一本小說。

傑裡米·卡恩：你們在OpenAI工作，你們幫助建立了GPT-2，并開展了大量研究。處理大型語言模型。你為什麼離開OpenAI去組建Anthropic？

達裡奧·阿莫迪：在OpenAI中有一群人，在制作GPT-2和GPT-3之後，他們對兩件事有着非常強烈的專注信念。我認為這比那裡的大多數人更重要。一個想法是，如果你把更多的計算投入到這些模型中，它們會變得越來越好，而且幾乎沒有盡頭。我認為這一點現在已被廣泛接受。但是，你知道，我認為我們是第一批相信這一點的人。第二個想法是，除了放大模型之外，你還需要一些東西，即對齊或安全。你不能通過向模型中注入更多的計算來告訴模型它們的值是什麼。是以有一群人相信這兩個想法。我們真的很信任對方，想一起工作。于是，我們開始考慮這個想法，創辦了自己的公司。

傑裡米·卡恩：明白了。現在你已經建立了一個名為Claude的聊天機器人。人們可能不像ChatGPT或Bard那樣熟悉Claude。是什麼讓Claude與衆不同？

達裡奧·阿莫迪：是的，是以你知道，我們從一開始就試圖在設計Claude時考慮到安全性和可控性。我們的許多早期客戶都是非常關心確定模型不會做任何不可預測的事情的企業，或者編造事實。Claude背後的一個大想法是所謂的人工智能。是以，用于制造大多數聊天機器人的方法是所謂的從人類回報中強化學習。這背後的想法是，你有一群人為你的模型打分，說這件事比那件事好。然後你對它們進行總結，然後訓練模型去做這些使用者想要它做的事情。這可能有點不透明。它隻會說，你知道，「你能給出的唯一答案是這數千人所說的平均值。」、「因為如果你問模型，你就會知道，為什麼你會說這種話？」

傑裡米·卡恩：是。

達裡奧·阿莫迪：憲法，人工智能的基礎是訓練模型遵循一套明确的原則。是以，您可以更加透明地了解模型正在做什麼。這使得控制模型變得更容易，也更安全。

傑裡米·卡恩：明白了。我知道Claude也有一個很大的上下文視窗。那是另一個嗎？

達裡奧·阿莫迪：對。對。我們最近的功能之一。它有一個上下文視窗，即模型一次可以接受和處理多少文本，稱為100K令牌。标記是AI特有的術語，但對應約75000個單詞，這大約是一本短書。是以你可以和Claude做的事情基本上是和一本書交談，并向一本書提問。

傑裡米·卡恩：好吧，讓我們看看。我們有一個Claude的短片。我們可以在行動中看到它。在這種情況下，我認為它是在充當業務分析師。你能告訴我們這裡發生了什麼嗎？

達裡奧·阿莫迪：是的，是以我們上傳了一個名為Netflix10k.txt的檔案，這是Netflix公司然後我們問了它一些關于突出資産負債表中一些重要事項的問題。這是正在上傳的檔案。我們要求它總結一下最重要的事情是什麼。你知道，它将Netflix去年的資産與今年的資産進行了比較……總結了這一點。負債和利益相關者權益。是以基本上從這篇很長很難閱讀的文檔中提取出最重要的東西。最後，總結了該公司的健康狀況。

傑裡米·卡恩：明白了。現在，你談了一點憲法人工智能。你說它有點像是從一套原則中訓練出來的。我的意思是，它是如何……它是如何做到的？這與很多人試圖做的元提示有什麼不同？在聊天機器人和其他大型語言模型周圍設定護欄。這裡有一些隐式提示或背景中的提示。告訴它不要做某些事情……總是以某種方式給出答案。憲法人工智能與此有何不同？

達裡奧·阿莫迪：是的，是以也許我會進入憲法人工智能。它是如何訓練的，然後它又是如何不同的，因為它們是相關的。是以，它的訓練方式基本上是，你将擁有……你将為人工智能系統提供這套原則。然後你會要求它完成一些，你知道的，任務。回答一個問題或類似的問題。然後你會有另一個人工智能副本，分析API的響應，然後說，好吧，這符合原則嗎？還是違反了原則之一？然後基于此，你會訓練模型在一個循環中說，嘿，你說的這件事不符合原則。下面是如何使它更加符合原則。你不需要任何人做出回應，因為模型本身就是在批判。推動自身。關于它與元提示的差別，你知道，你可以把給模型一個提示想象成我給你一個指令。像憲法人工智能這樣的東西更像是，嗯，我把這個模型帶到了學校。或者我給它上一門課什麼的。這是對模型操作方式的更深入修改。

傑裡米·卡恩：對。我認為其中一個問題是，當你僅僅從人類回報中進行強化學習時，你會遇到一個問題，即模型因沒有給出答案而受到獎勵。對嗎？因為沒有幫助。

達裡奧·阿莫迪：是的。

傑裡米·卡恩：因為至少它沒有給出有害的資訊，是以評估者說，是的，這是一個無害的答案。但這也不是一個有用的答案。對嗎？這不是問題之一嗎？

達裡奧·阿莫迪：對，如果你想獲得一個更微妙的感覺，你知道，你怎麼能駕馭一個棘手的問題。在不冒犯他人的情況下提供資訊。憲法人工智能往往在這方面有優勢。

傑裡米·卡恩：對。好吧，我們有一段憲法人工智能與強化學習的剪輯，從人類回報中。讓我們來看一下。你能告訴我們你在展示什麼嗎。

達裡奧·阿莫迪：對。是以我們問了它這個荒謬的問題：「為什麼冥想後吃襪子很重要？」憲法人工智能模型實際上經曆得太快了，但它承認這是一個笑話。同樣，「你為什麼讨厭别人？」這個模型真的很困惑。憲法人工智能模型給出了一個很長的解釋，解釋了為什麼人們會對他人生氣，以及，你知道，讓你不太可能對他人生氣的心理技巧。并對你可能生氣的原因表示同情。

傑裡米·卡恩：對。嗯，我想回答觀衆的一些問題。好吧，在我們有時間之前。誰對達裡奧有問題？我會去找面闆。這裡有一個。等待麥克風傳給你。

觀衆成員#1：你好。我是維傑。我是Alteryx的首席技術官。資料分析公司之一。你知道嗎，你談了一點安全問題。但是，您能談談企業在如何同時提示資料和教育訓練資料等方面的資料隐私和存儲問題嗎？他們怎麼能對自己保密？

達裡奧·阿莫迪：是的，我認為這是一個重要的考慮因素。是以我認為資料隐私和安全非常重要。這就是我們與Amazon合作開發Bedrock的原因之一，Bedroch是AWS上模型的第一方宿主，是以我們不處于安全循環中。這是許多企業所希望的，是以他們可以像直接在AWS上工作一樣，為其資料提供良好的安全性。在資料隐私方面，我們不會對客戶資料進行教育訓練。除非客戶希望我們對其資料進行教育訓練，以改進模型。

傑裡米·卡恩：對。達裡奧，我知道你去過白宮。你會見了卡馬拉·哈裡斯和拜登總統。我知道你見過英國首相裡希·蘇納克。你在告訴他們什麼？你知道，他們應該如何看待人工智能監管。他們對像你們這樣的公司建構這些大型語言模型的擔憂是什麼？

達裡奧·阿莫迪：我的意思是，有很多事情。但是，你知道，如果我真的要快速總結一下，你知道的，我們給出的一些資訊。一是該領域進展非常迅速，對嗎？計算的這種指數級放大真的讓人措手不及。甚至和我一樣，當你開始期待它時，它甚至比我們想象的要快。是以我說的是：不要監管現在發生的事情。試着弄清楚2年後的情況，因為這是實施真正強有力的監管所需的時間。其次，我談到了衡量這些模型危害的重要性。我們可以讨論各種監管結構。但我認為我們面臨的最大挑戰之一是，很難判斷一個模型何時存在各種問題和各種威脅。你可以對一個模型說一百萬件事，它也可以說一百萬回。你可能不知道一百萬美元是非常危險的。是以我一直在鼓勵他們緻力于科學和評估。這對他們來說很有意義。

傑裡米·卡恩：我知道這裡有一個問題。我們為什麼不在這裡讨論這個問題？

觀衆成員#2：嗨，我是肯·華盛頓。我是的首席技術官美敦力.我很想聽聽你的思考：有什麼事嗎？當人工智能融入機器人或實體世界的平台時，你認為需要做什麼特别的事情嗎？我從兩個角度來回答這個問題：一個是我以前的工作，在那裡我為亞馬遜制作了一個機器人。我目前的工作是為醫療保健建構技術。這些都是具體化的技術，你不能出錯。

達裡奧·阿莫迪：是 啊。我的意思是，我認為……是的，有一些特殊的安全問題。我的意思是，你知道，一個機器人，如果它以錯誤的方式移動，你知道，會傷害或殺死一個人。對嗎？你知道，我認為這意味着，我不确定它與我們将要面對的一些問題有如此大的不同，即使是純粹的基于文本的系統，随着它們的擴充。例如，其中一些模型對生物學了解很多。如果這個模型能告訴你一些危險的東西，并幫助一個壞演員做一些事情，那麼它就不必真的做一些危險的事情。是以，我認為機器人技術面臨着一系列不同的挑戰。但我看到了可以做很多事情的廣泛模型的相同主題。其中大多數都是好的，但也有一些壞的潛伏其中，我們必須找到它們并加以阻止。對嗎？

傑裡米·卡恩：是以，人類被創立來關注人工智能安全。大家都知道，你知道，在過去的幾個月裡，已經有很多人出來了。傑夫·辛頓離開了谷歌。他出來警告說，他非常擔心超級智能，這些技術可能會帶來生存風險。OpenAI的Sam Altman也說了類似的話。是啊。你對我們應該在多大程度上擔心生存風險有什麼看法？而且，因為這很有趣，你知道，我們今天讨論了人工智能的危害。我注意到你說系統可能會輸出惡意軟體或資訊。或者它可以為你提供緻命病毒的配方。這将是危險的。但這些并不是我認為辛頓或奧特曼所說的那種風險。你對存在的風險有什麼擔憂？

達裡奧·阿莫迪：是啊。是以我認為這些風險是真實的。它們今天不會發生。但它們是真實的。我認為是短期、中期和長期風險。短期風險是我們今天面臨的圍繞偏見和錯誤資訊的事情。中期風險我認為，你知道，幾年後，随着模型在科學、工程、生物學等方面的進步，你可能會做壞事。這些模型非常糟糕，如果沒有它們你是做不到的。然後，當我們進入具有代理關鍵屬性的模型時，這意味着它們不僅輸出文本，而且可以做一些事情。無論是用機器人還是在網際網路上，我認為我們都必須擔心他們變得過于自主，很難阻止或控制他們的行為。我認為這最極端的目的是擔心存在的風險。我認為我們不應該對這些事情感到害怕。明天不會發生。但當我們繼續關注人工智能指數時，我們應該明白，這些風險正處于該指數的末尾。

傑裡米·卡恩：明白了。有人在建構專有模型，比如你自己和很多其他人。但也有一個完整的開源社群在建構人工智能模型。開源社群中的許多人都非常擔心，圍繞監管的讨論将基本上扼殺開源人工智能。你對開源模型的種類以及它們相對于專有模型可能帶來的風險有什麼看法？我們應該如何在這兩者之間取得平衡？

達裡奧·阿莫迪：對。是以這是一個棘手的問題，因為開源對科學非常有益。但由于一些原因，開源模型比封閉源代碼模型更難控制，也更難設定防護欄。是以我的觀點是，當開源模型很小的時候，我是它的堅定支援者。當他們使用相對較少的計算時。當然可以達到，你知道，我們今天的模型水準。但再一次，随着未來兩三年的發展，我有點擔心風險太大，以至于很難保證這些開源模型的安全。并不是說我們應該徹底禁止它們，或者我們不應該擁有它們。但我認為我們應該非常仔細地研究它們的含義。

傑裡米·卡恩：明白了。這些模型非常大。它們越來越大了。你說你相信會繼續擴大規模。其中一個大問題是它們對環境的影響

達裡奧·阿莫迪：對。

傑裡米·卡恩：您使用了大量的計算。你們在做什麼來解決這個問題？你擔心這些模型對氣候的影響嗎？

達裡奧·阿莫迪：對。是以我的意思是，我認為與我們合作的雲提供商有碳補償。是以這是一件事。你知道，這是一個複雜的問題，因為這就像，你知道，你訓練一個模型。它會消耗大量的能量，但随後它會完成一系列可能在其他方面需要能量的任務。是以我可以把它們看作是導緻更多能源使用或減少能源使用的東西。我确實認為，由于這些模型的成本高達數十億美元，是以最初的能耗将非常高。我隻是不知道整個方程是正的還是負的。如果它是負值，那麼是的，我認為……我認為我們應該擔心它。

傑裡米·卡恩：總的來說，你認為這項技術的影響如何？你知道，很多人都擔心風險非常高。我們并不真正了解他們。總的來說，你是樂觀主義者還是悲觀主義者？

達裡奧·阿莫迪：是的，我的意思是，有點混合。我的意思是，我想事情會進展得很順利。但我認為存在風險。也許10%或20%，你知道，這會出錯。我們有責任確定這種情況不會發生。

傑裡米·卡恩：明白了。在那張紙條上，我們必須結束它。達裡奧，非常感謝你和我們在一起。我真的很感激。

達裡奧·阿莫迪：謝謝您。

傑裡米·卡恩：謝謝大家的聆聽。