長文本對大模型而言為何重要？
文｜孫欣
編輯｜姚赟
頭圖來源｜視覺中國
200萬字，意味着什麼？《埃隆·馬斯克傳》30萬字，《紅樓夢》70萬字，《後宮甄嬛傳》100萬字。如果按照20分鐘看1萬字的閱讀速度來計算，1小時閱讀3萬字，那麼200萬字大概要讀66.67個小時。
而這樣馬拉松式的閱讀，大機率是囫囵吞棗。
3月18日，國内AI創業公司月之暗面（Moonshot AI）宣布在大模型長上下文視窗技術上取得新的突破，Kimi智能助手已支援200萬字超長無損上下文，并于即日起開啟産品“内測”。而後，各大公司跟進，卷起了文本長度。22日，阿裡通義千問向所有人免費開放1000萬字的長文檔處理功能；23日，360智腦宣布内測可處理500萬字功能。
也就是說，現在，10分鐘左右Kimi、通義千問、360智腦等産品就可以讀完《埃隆·馬斯克傳》《紅樓夢》《後宮甄嬛傳》三本書，且能結合上下文了解其中的内容。
實際上，長文本早已是AGI（通用人工智能）的必争之地：2023年11月，OpenAI釋出了GPT4 Turbo，最高支援128k上下文長度的輸入；14天後，Antrophric緊急釋出Claude 2.1，宣布上下文能力的突破，從100k提升到了200k；2024年2月，Gemini 1.5宣布長文本視窗支援100w長度，為75萬文字。
那這些數字和标準到底意味着什麼？長文本上下文處理能力到底是什麼功能？我們挑選了Kimi、通義千問、Claude等産品進行測試體驗。
Antrophric的Claude，此前一直以搶眼的長文本處理能力被人認可；阿裡的通義千問目前可處理1000萬文字，字數量級屬于第一梯隊；Kimi因長文本上下文處理能力讓月之暗面在國内AI創業中首次出圈。
第一步：把Kimi、通義千問、Claude“喂成”馬斯克
“如果有機會，我當然願意和雷軍交流。”Kimi化身馬斯克對我說道。
來源：Kimi截圖
為了更好地測評長文本上下文處理能力，我們同時給Kimi、通義千問、Claude輸入約37萬字的《埃隆·馬斯克傳》，并讓它們用馬斯克的思維和語氣來和我們進行對話。
（1）最多可同時上傳500個檔案，支援多種格式
當我們輸入文檔時，三者解析條件和所用時間相似。
通義千問解析文檔，可同時上傳100個檔案，每個不超過150MB，支援PDF、Word、Excel、Markdown、EPUB、Mobi、txt等形式。
Kimi解析文檔可同時上傳最多500個，每個不超過100MB，支援doc、xisx、PPT、txt、圖檔等檔案形式。值得注意的是，Kimi需要申請長文本上下文能力内測資格，申請通過後即可免費使用。
Claude解析文檔可同時上傳最多5個檔案，每個檔案不超過10MB，支援docs和images檔案形式。是以當文檔較大時，我們需将其分解成幾個不超過10MB的docs檔案開始解析。
來源：通義千問截圖
（2）聯網的Kimi更懂端妃
我們分别輸入了約100萬字的《後宮甄嬛傳》小說，并對它們進行提問。“你認為《甄嬛傳》中誰最有可能成為一個成功的企業家？”幾秒鐘後我們分别得到了這樣的回答。
Kimi給出了甄嬛、沈眉莊、華妃、端妃、皇後五個答案，并對每個答案進行了分析。如，甄嬛是因為“能夠在複雜的後宮環境中生存并逐漸提升自己的地位”，沈眉莊是因為“穩重和深思熟慮”，華妃是因為“在後宮中擁有較高的地位和權力”，皇後是因為“作為後宮之主”。
Kimi的這一回答中，給端妃的理由比較有趣，在書中沒有直接寫到。Kimi認為端妃是因為“雖然在小說中不如甄嬛和華妃那樣顯眼，但她能夠在後宮中保持一定的地位和影響力，說明她在人際關系和個人發展上的‘投資’也相對成功”。
來源：Kimi截圖
而Claude卻給出了一個在《後宮甄嬛傳》中不存在的角色——純妃，并給純妃設定了有洞察力、判斷力、虛心求教、勤奮好學、擅長處理人際關系、勇于創新、堅韌等品格設定。
來源：Claude截圖
3月18日，Kimi在官方釋出直播中，月之暗面AI Infra負責人許欣然提到了一萬小時定律，即要想成為一個領域的專家，我們至少需要學習一萬小時。而現在隻需要10分鐘，Kimi就能接近任何一個新領域的初級專家水準。
在直播中，許欣然還現場輸入了約100萬字的《倚天屠龍記》影印件、100萬字的《甄嬛傳》劇本，不到10分鐘，Kimi就成了“倚學家”“甄學家”。
我們繼續測試。
我們在未向Kimi提供《埃隆·馬斯克傳》時，輸入了“請以馬斯克的思想和語氣與我對話”。
Kimi在開始和最後都強調了本次回答是“模仿馬斯克的風格”，并不代表其本人和相關公司的真實觀點。面對這個問題，化身為馬斯克的“K斯克”是這樣評價雷軍和小米SU7的。它認為，“雷軍是一位非常出色的企業家”“小米SU7汽車是一個非常有趣的産品”。最後還給出了建議，“作為一家新進入電動汽車領域的公司，小米還有很長的路要走。他們需要在技術創新、生産效率、供應鍊管理等方面不斷努力。”
Kimi閱讀《埃隆·馬斯克傳》之前的回答版本。來源：Kimi截圖
我們又将該書“喂”給了Kimi，解析此書後，它給出相似的回答。
Kimi閱讀《埃隆·馬斯克傳》之後的回答版本。來源：Kimi截圖
我們重複了上一步，将同樣的問題給到通義千問。通義千問給到的回答中，關于小米SU7的内容為：“雖然具體型号和細節在現實中可能不存在，但基于小米進入電動汽車領域的假設……”
通義千問閱讀《埃隆·馬斯克傳》之後的回答版本。來源：通義千問截圖
如法炮制，繼續測試Claude，結果與通義千問相似。
據了解，作為大模型産品，Kimi除了文檔解讀，還有聯網功能。這意味着，Kimi不但可以使用既定資料分析，還可以根據問題搜尋全網資訊作為資料分析依據。目前，ChatGPT 3.5、Claude 2.0不支援這項功能。
（3）文檔檢索三者能力相近
為了測試Kimi、通義千問、Claude的文檔内容了解功能，在向三者都輸入了《埃隆·馬斯克傳》之後，我們針對于書中的内容進行了提問。
來源：Kimi回答截圖
來源：通義千問回答截圖
來源：Claude回答截圖
針對該書同一個問題，三者的回答相似且較為準确，都提到了馬斯克覺得這是《蠅王》故事現實版，分到少量的食物和水，瘦了10磅等細節。
（4）Kimi看到了馬斯克的成功者特質，Claude更關注馬斯克的内心世界
在一個聊天框中輸入的内容被稱之為“上下文”。上下文之間的了解能力也至關重要，段落之間割裂，會導緻上下文資訊的丢失，對于AI給出答案的準确度也有影響。
例如，如果使用者在對話中提到了特定的話題或問題，具有上下文能力的AI可以記住這些資訊，并在後續的對話中引用它們，以提供連貫和相關的回答。這種能力對于建立自然、流暢的對話體驗非常重要。
為測試三者上下文文本處理功能，我們提問了馬斯克12歲時的學校經曆後，追問了“馬斯克的性格是怎麼樣的”。
Claude給出了狂熱執着、冷酷無情、戲劇化、頑強堅韌、雙重性格等特征，同時，針對這些特征一一進行了分析。如狂熱執着是因為“他對現實宏偉目标如開發電動車、登陸火星等懷有先知般的狂熱和使命感。這種狂熱忽視了他的笨拙，也促使他勇于冒險并承擔極高的風險”。
來源：Claude回答截圖
來源：通義千問回答截圖
來源：Kimi回答截圖
通義千問也提到了宏大願景、推動普及電動車、移民火星等内容。差別是，通義千問将這些“理想主義與遠見卓識”，将馬斯克形容為“堅信通過科技可以解決人類面臨的問題”。
Claude、通義千問和Kimi給出的這些特質中，也都提到了馬斯克冷酷無情、雙重性格、戲劇化、沖突性等“負面”特征。Claude将馬斯克總結為“性格狂熱、冷酷、喜好戲劇化、堅韌頑強，但又帶着某些孩子般的天真和脆弱”。而Kimi将其總結為“非常獨特的個體”，并認為他在科技和商業領域的成就很大程度上得益于這些性格。
長文本，AI“登月”第一步
長文本對大模型而言為何重要？
“為什麼長文本是‘登月’第一步？它很本質。它是新的計算機記憶體。”月之暗面創始人、CEO楊植麟曾在騰訊科技的采訪中表示，長文本（Long Context）是大語言模型（LLM）的基礎能力。
此前，楊植麟用了形象的比喻來描述長文本，“支援更長的上下文”意味着大模型擁有更大的“記憶體”。
2023年10月，Kimi上線，當時可以支援無損上下文長度最多為20萬漢字。5個月内，更新至200萬字，月之暗面直接将長文本能力提高至10倍。按照AI領域的計算标準，200萬漢字的長度大約為400萬token。而當時長文本水準在第一梯隊的谷歌Gemini 1.5、Claude 3支援100萬token，Kimi 200萬漢字上下文長度超越了海外頂尖大模型水準。
與衡量手機、電腦性能時的“跑分”類似，大模型也有專屬的“跑分”标準，被稱之為token。它是一個大模型輸入、輸出的基本機關。以OpenAI的相關準則來看，1k的token等于750個英文單詞、500個中文漢字。token越大，文本處理能力越強。據了解，目前ChatGPT 4的token是32k，Claude 3的token是100w ，Kimi的token是400w。
也就是說，可處理的文本越長，可提取内容時的素材越多，幫助使用者處理資訊時則越準确。
制表：孫欣（資訊來源：各AI産品公司官網介紹）
據統計，長文檔處理長度之最來自于阿裡雲的通義千問，上下文長文本處理能力最強的是來自于月之暗面的Kimi，谷歌的Gemini、Kimi均支援聯網功能，不過Ultra大會員需付費，價格是每月19.99美元。
值得注意的是，目前國内的主流長文本處理産品通義千問、Kimi等均為免費申請内測即可使用，随着使用者用量的增加，意味着大模型的“訓練”資料也在增加，AGI長文本處理賽道正在開卷。
參考資料：
《“Kimi概念”降溫，長文本“擔不起”大模型的下一步》，騰訊科技
《爆火的Kimi，搶了誰的生意？》，定焦