天天看點

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

作者:這是憤世嫉俗的

每經記者:蔡鼎 每經編輯:蘭素英

美東時間12月6日,谷歌CEO桑達爾・皮查伊宣布迄今為止規模最大,能力最強的谷歌大模型Gemini 1.0 版正式上線。Gemini是原生多模态大模型,是谷歌大模型新時代的第一步,它包括三種量級:能力最強的 Gemini Ultra,适用于多任務的 Gemini Pro,以及适用于特定任務和端側的 Gemini Nano。

皮查伊官宣推文釋出後,馬斯克也在下面評論稱,“(Gemini)令人印象深刻”。當天,谷歌還釋出了一條約6分鐘的延時示範視訊,展示Gemini的多模态功能(例如,口語對話提示與圖像識别相結合)。截至發稿,該視訊在YouTube上已經收獲141萬次觀看。

然而,Gemini釋出才一天,外界已開始有聲音指控谷歌對Gemini的性能“造假”。

其中,彭博社一篇專欄文章就表示,谷歌在一段示範視訊中歪曲了Gemini的AI性能。專欄作家帕米·奧爾森(Parmy Olson)認為,在谷歌釋出的這段視訊中,Gemini似乎非常強大,但有點過于強大了。對此質疑,谷歌回應時承認,這段關于Gemini性能示範的視訊并不是實時的,而是使用了原始鏡頭中的靜止圖像幀,然後編寫了文本提示,以便讓Gemini做出回應。

6分鐘示範視訊引質疑

奧爾森認為,Gemini的示範視訊确實非常令人印象深刻。Gemini能夠僅憑一些毫無規則的點就可以推斷出繪制内容是一隻螃蟹,顯示出谷歌DeepMind人工智能實驗室多年來訓練的大模型推理能力。不過,奧爾森指出,谷歌這段視訊中展示的Gemini所具備的一些功能并不是其獨有的,ChatGPT Plus也具有類似的推理能力。

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面
“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

圖檔來源:谷歌

《每日經濟新聞》記者注意到,在這6分鐘的視訊中,Gemini似乎能夠快速識别圖像,并在幾秒鐘的時間内做出反應。然而,如果使用者點選釋出在YouTube上的這段視訊的描述,谷歌寫了一個重要的“免責聲明”,稱“為了達到Gemini的示範目的,延遲已經被人為減少,Gemini的輸出時長也為了簡潔而被縮短。”這意味着,Gemini實際回答每個問題所花費的時間要比視訊示範中的更長。

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

機器學習講師Santiago Valdarrama在X平台上發文暗示,谷歌上述視訊的“免責聲明”似乎“展示的是精心挑選的好結果,不是實時錄制而是剪輯的。”他直言,“這就是誤導,任何參與到其中的人都應該感到尴尬。”

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

圖檔來源:X

此外,谷歌公布的MMLU多任務語言了解資料集測試顯示,Gemini Ultra不光超越GPT-4,甚至超越了人類專家。然而,不少業内專家發現,在MMLU測試中,Gemini Ultra的結果下面有灰色小字标CoT@32,代表使用了思維鍊提示技巧、嘗試了32次後選取最好結果。而作為對比的GPT-4,卻無提示詞技巧,且隻嘗試了5次。

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

圖檔來源:谷歌

否認造假,Gemini負責人稱隻是為了簡潔縮短了反應時長

美國科技媒體The Verge報道中稱,公平地說,這并不是大型科技公司首次對其産品示範視訊進行剪輯處理,除了谷歌外,其他大型科技公司為了避免現場示範帶來任何技術性問題,都會稍微對視訊進行調整,這也非常普遍。

但對于視訊“造假”一說,谷歌堅決予以否認。谷歌DeepMind和深度學習副總裁、Gemini聯合負責人奧裡奧爾·維亞萊斯(Oriol Vinyals)在一篇部落格文章中,解釋了Gemini示範視訊的制作過程:性能示範視訊不是實時的,而是使用了原始鏡頭中的靜止圖像幀,然後編寫了文本提示,并要求它通過預測來做出回應。

“視訊中的所有使用者提示和輸出都是真實的,隻是為了簡潔而縮短了(Gemini的反應時長)。這個視訊展示了使用Gemini建構的多模式使用者體驗,我們制作它是為了激勵開發者。”維亞萊斯強調。

奧爾森對此卻并不買賬。她在專欄文章中寫道:“這與谷歌描述的完全不同——谷歌稱,任何人都可以與Gemini進行流暢的語音對話,因為Gemini可以實時觀察周遭世界并做出反應。”

她同時指出,谷歌官方釋出的Gemini各模态性能顯示,Gemini Ultra(下圖中藍色部分)在9項标準基準測試中的7項都優于GPT-4。這些基準測試往往用于測試人工智能模型在高中實體、專業法律和道德場景等方面的能力。

“遙遙領先”GPT-4?谷歌最強AI大模型Gemini釋出一天便引質疑!公司承認6分鐘視訊經特殊剪輯處理,非實時畫面

圖檔來源:谷歌

然而,在大多數基準測試中,Gemini Ultra隻比OpenAI的GPT-4高出幾個百分點,有些甚至不到1個百分點。奧爾森認為,換句話說,谷歌這個所謂的頂級人工智能模型隻對OpenAI一年前完成的工作進行了有限的改進。

需要指出的是,谷歌的6分鐘Gemini示範視訊并沒有說明示範的模型是Gemini Ultra。

奧爾森認為,一年前,谷歌這個“笨拙的搜尋巨頭”被OpenAI的ChatGPT打了個措手不及,此後便一直希望趕上生成式人工智能這股浪潮。谷歌希望通過強大的營銷讓人們記住,它擁有世界上最強大的人工智能研究團隊之一,并且比其他任何人都能獲得更多的資料。但從技術角度來看,在生成式人工智能方面,谷歌仍然落後于OpenAI。

不過,在科技行業,誰也不能保證一直一帆風順,屹立不倒。早期的手機霸主諾基亞和黑莓就是例子。在蘋果推出功能更強大、更受歡迎的産品iPhone後,諾基亞和黑莓的市場佔有率便迅速被搶走。而在軟體領域,市場的成功則來自于擁有最強大性能的系統。

每日經濟新聞

繼續閱讀