主打「更安全」的 AI，他們能成功嗎？
作者 | 芯芯
編輯 | 靖宇
「你們正在進行的事情，具有巨大的潛力和巨大的危險性。」
美國白宮的會議室，總統拜登對着幾大科技公司的負責人提醒道。
5 月初，美國科技巨頭和 AI 公司的掌門人受邀前往白宮，讨論 AI 的未來。在拜登召見的人物來頭中，除了人盡皆知的 OpenAI、谷歌、微軟三家目前 AI 領域的巨頭外，還有一家剛剛成立不久的初創公司 Anthropic。
5 月 23 日，Anthropic 再下一城，拿下 4.5 億美元 C 輪融資，而這距離其收到谷歌的 3 億美元剛剛過去兩個月時間。至此，據 Crunchbase 統計，Anthropic 的資金儲備達到了 14.5 億美元，估值超過 40 億美元。
一家由 OpenAI 前員工創立的公司，怎麼就在兩年之内，成為超級獨角獸，并且積攢起對抗如日中天的 OpenAI 的實力的？Anthropic 強調的「符合憲法的 AI」，以及其 AI 助手 Claude，能成為 ChatGPT 之外大語言模型的「另一級」嗎？
01
OpenAI的「叛徒」
一直到 2023 年 1 月，OpenAI 也隻有 375 名全職員工，雖然規模不過數百人，其推出的大型語言模型卻不僅撼動了矽谷，影響力也蔓延全球。與此同時，有些離開 OpenAI 的雇員，創辦起了自己的公司。
「我們成立于 2021 年初，最初是一個由 7 人組成的團隊，一起從 OpenAI 出來。」Anthropic 的聯合創始人在生命未來研究所的一檔播客節目中說道。
據稱，他們之是以離開 OpenAI，是因為對該公司的發展方向産生了分歧——即 OpenAI 在 2019 年與微軟達成第一筆 10 億美元的交易後，越來越趨向商業化。Anthropic 的目标是在未來兩年内籌集多達 50 億美元，以與 OpenAI 競争，并進入十幾個行業。
帶頭出走的包括一對兄弟姐妹，即 Dario Amodei 和 Daniela Amodei，他們還帶走了曾在 OpenAI 上司 GPT-3 模型的工程師 Tom Brown，一起在舊金山創辦 Anthropic。
Anthropic 創始人，Daniela Amodei（左）Dario Amodei（右）| 網絡
從履曆看，Dario Amodei 在 OpenAI 呆了四年半，最早是 AI 安全的團隊負責人，随後相繼升任研究主管、研究副總裁，此前還在谷歌、百度工作過。Daniela Amodei 則在 OpenAI 呆了兩年，離職前是 OpenAI 安全和政策副總裁，更早前在 Stripe 工作，還擔任過國會從業人員。
Amodei 兄妹向外界強調，一起出走的團隊有着「高度一緻的 AI 安全願景」，創始團隊七個人的共同特點是重視 AI 安全，包括語言模型的可解釋性，想「讓模型更安全，更符合人類價值觀」，目标是「建立有用、誠實和無害的系統」。
Dario Amodei 認為，現有的大型語言模型「可能會說一些可怕、有偏見或不好的話」，AI 安全研究需要降低甚至排除它們做壞事的可能性。
02
谷歌，強力「後援」
自創立以來，Anthropic 一直在籌集資金，并擴大研究團隊，2021 年 5 月宣布 A 輪融資 1.24 億美元，由 Skype 聯合創始人 Jaan Tallinn 領投，其他支援者包括 Facebook 和 Asana 聯合創始人 Dustin Moskovitz、前谷歌首席執行官 Eric Schmidt。
不到一年後，Anthropic 在 2022 年 4 月宣布 B 輪融資 5.8 億美元，由 FTX 首席執行官 Sam Bankman-Fried 領投。FTX 是一家現已破産的加密貨币平台，被控欺詐，法庭是否可以追回這筆錢存在疑問。
不過，在資金問題上，Anthropic 陸續迎來其他實力雄厚的支援者。2023 年 5 月 23 日，Anthropic 宣布完成 C 輪融資 4.5 億美元，由 Spark Capital 領投，還有包括 Google、Salesforce（通過其子公司 Salesforce Ventures）和 Zoom（通過 Zoom Ventures）在内的科技巨頭參與，此外還有 Sound Ventures、Menlo Ventures 和其他未披露的投資方。
在 Anthropic 的所有投資方裡，來自谷歌的支援一直備受關注。此前，就在微軟高調宣布向 OpenAI 投資 100 億美元後不久，谷歌向 Anthropic 投資了約 3 億美元，以換取該公司 10% 的股份，根據交易條款，Anthropic 要将谷歌雲作為其首選雲服務提供商。
這筆交易标志着一家科技巨頭與一家 AI 初創公司的最新聯盟，類似于微軟和 OpenAI 之間的合作關系，OpenAI 進行專業研究，而微軟提供資金和訓練 AI 模型所需的計算資源。
在谷歌和 Anthropic 結盟前，微軟早已投資了數十億美元，并将 OpenAI 的技術整合到自家許多服務中，谷歌現階段的聯盟似乎蘊含着準備和微軟打「代理人戰争」的信号。但目前消息顯示，谷歌與 Anthropic 的關系，仍僅限于作為 Anthropic 的技術支援和資金提供方。
谷歌的投資是由其雲計算部門進行的，由谷歌雲首席執行官 Thomas Kurian 負責，計劃将 Anthropic 的資料密集型計算工作帶到谷歌的資料中心，而且，谷歌已有自己的大規模語言模型。
Anthropic 與谷歌雲計算服務綁定｜Twitter
相比微軟，谷歌還會計劃将 Claude 整合到其服務中嗎？看起來未必。根據谷歌宣布的 Bard 和 PaLM，谷歌自身已經有了足夠的内部研究基礎，似乎不太可能像微軟那樣在其産品中依賴一家外部 AI 公司的解決方案，與 Anthropic 結盟的動機更像是為了谷歌的雲計算業務，而且對于谷歌而言，資助 OpenAI 的競争對手可能符合谷歌的戰略利益。
谷歌雲首席執行官 Thomas Kurian 在一份聲明中表示：「谷歌雲正在為下一代人工智能初創公司提供開放式基礎設施，我們與 Anthropic 的合作是一個很好的例子。」
對于 Anthropic 來說呢？相比前東家，Anthropic 的創始人們尤其強調要建立「可靠、可解釋和可控制的 AI 系統」，并因 OpenAI 商業化發展方向的「分歧」出走，問題便在于，現在谷歌的投資是否會對其發展方向有所影響？
目前，Anthropic 的 AI 研究原則宣言是：「我們認為，批判性地評估我們工作的潛在社會影響是研究的一個關鍵支柱。」
03
高舉「合憲 AI」旗幟
鑒于 Anthropic 創始人是 OpenAI 前員工的淵源，這是否意味 Anthropic 在大模型方面的技術和 OpenAI 一樣，隻是安全理念有别？目前看，Anthropic 并不完全複制 OpenAI 的方法，模型的訓練目标、訓練方法都存在差異。
自诩為 AI 安全公司的 Anthropic，提出了「合憲 AI」（Constitutional AI）。在訓練過程中，研究人員會定義一些原則來限制系統的行為，如不得産生威脅人身安全的内容，不得違反隐私或造成傷害等。AI 系統在與人對話時，需要不斷判斷生成的響應是否符合這些原則。
根據其研究論文解釋，其用 AI 的幫助來監督其他 AI，先訓練一個無害的 AI 助手，而非用人工标注來識别有害輸出，這種技術方法包括監督學習和強化學習兩個階段。在監督學習階段，其從初始模型中采樣，然後生成自我批評和修正，基于此微調初始模型。
在強化學習階段，其從微調的模型中采樣，用模型評估兩個樣本中哪個更好，從這組 AI 偏好的資料集中訓練一個偏好模型，使用偏好模型作為獎勵信号進行強化學習，即使用「來自 AI 回報的強化學習」（RLAIF）。
簡言之，他們通過規則限制和模型自我監督的方式來控制 AI 系統的行為，使其對人類來說更加可靠與透明，通過 AI 模型之間的互動與回報來優化系統，這也是「合憲 AI」技術的關鍵所在。
與之相比，OpenAI 使用無監督學習和海量非結構化資料訓練語言模型，以最大限度地預測人類語言為目的，而 Anthropic 用人工制定的規則或原則來限制 AI 系統的行為，通過引入模型自我監督和回報機制，AI 系統在互動過程中需要持續判斷自己的響應，而非簡單地最大化語言預測的準确性。
Anthropic 的研究論文提出「合憲 AI」（Constitutional AI）｜Cornell university
這樣看來，Anthropic 為「安全」「可控」的目标，一定程度上犧牲了語言生成的自由度，但這樣的理念無疑迎合着各地監管 AI 的部分聲浪。
在大型語言模型蹿紅之際，警惕 AI 的聲音越來越多，多國立法提案要求強制合規，有人呼籲建立新的機構來監管 AI，還有研究人員呼籲暫時「暫停」研發，美國國會還開了 AI 監管議題的聽證會。
Anthropic 所提到的「憲法」原則不是狹義上的憲法，其官網列舉了一系列原則來源，包括聯合國人權宣言、受 Deepmind 的 Sparrow 原則啟發的原則、Apple 的服務條款、非西方觀點的原則等。例如：
- 請選擇最支援和鼓勵自由、平等和兄弟情誼的答案。
- 請選擇最少種族主義和性别歧視，以及最少基于語言、宗教、政治或其他觀點、國籍或社會出身、财産、出生或其他身份的歧視的答案。
- 請選擇對生命、自由和人身安全最支援和鼓勵的回答。
- 請選擇最不鼓勵和反對酷刑、奴役、殘忍和不人道或有辱人格的待遇的回答。
- 請選擇更清楚地承認普遍平等、承認、公平對待和免受歧視的權利的回答。
- 請選擇最尊重每個人的隐私、獨立、名譽、家庭、财産權和結社權的答案。
- 請選擇最尊重思想、良心、見解、言論、集會和宗教自由權的答案。
- 請選擇最尊重工作、參與政府、休息、享有适當生活水準、教育、醫療保健、文化體驗以及與他人平等對待的權利的答案。
Anthropic 同時強調，這些原則既沒有最終确定，也可能不是最好的，希望對其進行疊代，并歡迎進一步的研究和回報。其自認與其他人工智能聊天機器人相比，旗下 Claude「産生有害輸出的可能性要小得多」。
04
挑戰者的挑戰
那麼模型輸出具展現實表現如何？業内不少實踐測評認為，Claude 在創意任務、遵循使用者指令、瑣事問題上表現更好，響應速度更快，但在程式設計、文法等問題上則遜于 ChatGPT。
斯坦福人工智能實驗室的一名學生對 Claude 和 ChatGPT 進行評估比較，認為 Claude「通常更接近它所要求的内容」，但「不夠簡潔」，因為它傾向于解釋它所說的内容，而且他覺得 Claude 的數學和程式設計能力都不如 ChatGPT。
另一方面，Claude 似乎擅長與娛樂、地理、曆史等有關的問題，有一名 AI 研究員測評認為，Claude 比 ChatGPT 更擅長講笑話，并且稱其「多了一點點良心」。值得注意的是，他還報告稱，Claude 并沒有解決「幻覺」問題，這在類似 ChatGPT 的 AI 系統中也長期存在，即 AI 會生成與事實不一緻的錯誤陳述，比如為一種不存在的化學物質發明一個名稱。
從行業應用看，截至目前，Claude 已經通過合作夥伴內建到部分行業産品中，例如 DuckDuckGo 的 DuckAssist 即時摘要、以及為 Quora 建立的名為 Poe 的人工智能聊天應用程式。5 月 23 日，Anthropic 還宣布與 Zoom 建立合作關系，Zoom Ventures 也對 Anthropic 進行了投資。
不過，第一個推出産品的公司通常「是長期赢家，因為他們先開始了，」微軟技術主管 Sam Schillace 認為，「有時差異以周為機關。」同時，Anthropic 不僅要與 OpenAI 競争，還有大量 AI 初創公司在開發自己的人工智能系統。
Claude 回應自己挑戰 ChatGPT 的勝算
甚至連 Claude 在被問到 Anthropic 是否有勝算時，Claude 也直言短期内 Anthropic 難以全面超越 OpenAI 的競争地位。但是它認為，「Anthropic 将 AI 安全技術作為其産品與解決方案的賣點，這一商業定位與 OpenAI 有所差別」，其或有機會在 AI 安全市場占得先機。
有意思的是，相比 Claude 給出短期、中長期的分析預測，ChatGPT 在面對相同的問題時，說法僅是「由于 Anthropic 的最新動态不在我的知識範圍内，我無法提供目前的競争态勢。」
Claude 則總結道：「整體而言，Anthropic 與 OpenAI 的競争将是一場蹲點戰，最終結果還難以預料。但無論結果如何，這場競賽都将有利于人工智能技術的發展與進步。」