天天看點

超越GPT-4,Claude 3超大杯成新王!

作者:新智元

編輯:alan

【新智元導讀】太瘋狂了!Claude 3 Opus竟然幹掉了GPT-4。在Chatbot Arena最新的聊天機器人對戰排行榜中,Claude 3的超大杯成功登頂,就連最小的Claude 3 HaiKu都達到了GPT-4水準!

太瘋狂了!Claude 3 Opus超越了GPT-4,成為新的國王!

今天,Chatbot Arena更新了聊天機器人對戰的排行榜,在經過了時間的洗禮和群衆的檢驗之後,之前略遜于GPT-4的Claude 3竟然反超了!

超越GPT-4,Claude 3超大杯成新王!

而且不僅僅是Claude 3的超大杯Opus成功登頂,藐視衆生,Claude 3家族的整體表現都非常亮眼。

大杯Claude 3 Sonnet排到了第4,就連最小的Claude 3 HaiKu都達到了GPT-4水準!

超越GPT-4,Claude 3超大杯成新王!

那麼相比于基準測試跑分,這個榜單的權威性如何?

超越GPT-4,Claude 3超大杯成新王!

Chatbot Arena(聊天機器人競技場),由伯克利團隊開發,每個模型在榜單上的得分,完全取決于真實人類使用者的使用體驗。

我們來看一下打分規則:

使用者同時向兩個匿名模型(比如ChatGPT、Claude、Llama)提出任何相同的問題,然後根據回答投票給表現更好的模型;

如果一次回答不能确定,使用者可以繼續聊天,直到确定獲勝者;

如果在對話中透露了模型的身份,則不會計算投票。

Chatbot Arena平台收集了超過40萬人的投票,來計算出這個大模型的等級分排行榜,最終找出誰是冠軍。

顯然,這回Claude 3赢麻了。

我們來看一下真實的戰況:

在所有非平局對戰中, A對B獲勝的比例:

超越GPT-4,Claude 3超大杯成新王!

模型之間的對戰次數(無平局):

超越GPT-4,Claude 3超大杯成新王!

GPT-4終于被幹掉了,對此,有網友開始惡搞:

超越GPT-4,Claude 3超大杯成新王!

剛在當地超市看到Sam Altman,他一臉震驚地看着手機。幾秒鐘後,他真的倒下了,開始劇烈顫抖。經過2分鐘的搖晃和尖叫,一群人圍繞着他試圖幫助他。但令人驚訝的是,他在2分鐘後停止了顫抖和尖叫,站起來,拿起手機開始撥打一個号碼。

“準備釋放......”

咱也不知道Altman要放的是不是GPT-5。

網友表示,Claude确實要比GPT勤奮得多:

超越GPT-4,Claude 3超大杯成新王!
GPT-4-Turbo非常懶惰。在任何編碼任務中,它都會跳過部分代碼,并表示“你自己知道要放什麼”,而Opus可以毫無遺漏地輸出整個代碼。

就連Claude-2也通過自己的勤奮和耐心感動了這位網友。

更有比較務實的網友指出,Haiku的排名更為重要,因為它是第一個可以以極低成本即時運作的LLM,并且具有足夠高的智能來提供實時客戶服務。

超越GPT-4,Claude 3超大杯成新王!
超越GPT-4,Claude 3超大杯成新王!

盲生你發現了華點!Claude 3 Haiku不僅與原始版本的GPT-4表現一樣好,關鍵是相當便宜,在一些平台你甚至可以免費使用。

大家于是紛紛誇起了Claude 3 Haiku:

超越GPT-4,Claude 3超大杯成新王!

智能相當于GPT-4,價格比GPT-3.5便宜,而且據說模型可能隻有20B大小。

超越GPT-4,Claude 3超大杯成新王!

有網友表示,OpenAI不行啦,現在Anthropic才是老大,一時間,平台内外充滿了快活的空氣。

超越GPT-4,Claude 3超大杯成新王!

ChatGPT 一年零增長

回過頭來再看ChatGPT這邊,從最初的高光、王者,到現在不能說泯然衆人吧,反正多少有點寒酸了。

最近,有關統計平台曝出:ChatGPT在過去一年中居然零增長!

超越GPT-4,Claude 3超大杯成新王!

最近一段時間,ChatGPT一直被指責懶惰、系統提示臃腫,而另一方面競争也愈演愈烈——Claude 3和Gemini Pro 1.5現在都提供了比GPT-4多8倍的上下文長度和更好的recall能力。

超越GPT-4,Claude 3超大杯成新王!

對于幾乎每個ChatGPT用例,現在都有大量垂直化的AI初創公司,緻力于滿足使用者的需求,而不是滿足于現有的ChatGPT界面和捆綁工具

它們有更好的UI選項(例如IDE和圖像/文檔編輯器)、更好的原生內建(例如用于cron重複操作)、更好的隐私/企業保護(例如用于醫療保健和金融),更細粒度的控制(GPT的預設RAG是幼稚且不可配置的)。

以下是一些網友列舉了相關垂直領域的産品,以及公司的融資情況:

超越GPT-4,Claude 3超大杯成新王!
超越GPT-4,Claude 3超大杯成新王!
超越GPT-4,Claude 3超大杯成新王!

從某種意義上說,OpenAI的B2B和B2C部分互相競争,這在某種程度上是良性競争——OpenAI可以使用來自ChatGPT的RLHF資料進行訓練。

而新的GPT商店可以看作是,OpenAI為了抓住這些垂直化需求的嘗試。

——與其離開平台,到處支付20美元/月,為什麼不留在ChatGPT内部而隻需要支付一次,讓OpenAI将理論上的收入配置設定給GPT創作者?

超越GPT-4,Claude 3超大杯成新王!

對此,大部分創作者也很明智,一般隻向ChatGPT釋出精簡版的應用,作為自己主要平台的一個管道。

在遊戲機業務中,衆所周知,購買決策往往是由平台獨占遊戲驅動的。從某種意義上說,ChatGPT的未來會以平台專屬模型為特色。

超越GPT-4,Claude 3超大杯成新王!

是以,當Sora甚至是GPT-5公開釋出時,一定會率先登陸自家的平台,也許那将是下一輪ChatGPT的增長點。