白交 發自 凹非寺
量子位 | 公衆号 QbitAI
Mistral-Medium竟然意外洩露？此前僅能通過API獲得，性能直逼GPT-4。
CEO最新發聲：确有其事，系早期客戶員工洩露。但仍表示敬請期待。
換句話說，這個版本尚且還是舊的，實際版本性能還會更好。
這兩天，這個名叫“Miqu”的神秘模型在大模型社群裡炸了鍋，不少人還懷疑這是LIama的微調版本。
對此Mistral CEO也做出了解釋， Mistral Medium是在Llama 2基礎上重新訓練的，因為需盡快向早期客戶提供更接近GPT-4性能的API， 預訓練在Mistral 7B釋出當天完成。
如今真相大白，CEO還賣關子，不少網友在底下戳戳手期待。
Mistral-Medium意外洩露
我們還是重新來回顧一下整個事件。1月28日，一個名叫Miqu Dev的神秘使用者在HuggingFace上釋出一組檔案“miqu-1-70b”。
檔案指出新LLM的“提示格式”以及使用者互動方式同Mistral相同。
同一天，4chan上一個匿名使用者釋出了關于miqu-1-70b檔案的連結。
于是乎一些網友注意到了這個神秘的模型，并且開始進行一些基準測試。
結果驚人發現，它在EQ-Bench 上獲得83.5 分（本地評估），超過世界上除GPT-4之外的所有其他大模型。
一時間，網友們強烈呼籲将這個大模型添加到排行榜中，并且找出背後的真實模型。
大緻懷疑方向主要有三個：
- 與Mistral-Medium是同一個模型。
有網友曬出了對比效果：它知道标準答案還說得過去，但不可能連俄語措辭也跟Mistral-Medium完全相同吧。
- Miqu應該是LIama 2的微調版本。
但另外的網友發現，它并不是MoE模型，并且同LIama 2架構相同、參數相同、層數相同，。
不過馬上就受到其他網友的質疑，Mistral 7b也具有與 llama 7B 相同的參數和層數。
相反，這更像是Mistral早期非MoE版本模型。
不過讨論來讨論去，不可否認的是在不少人心中，這已經是最接近GPT-4的模型了。
如今，Mistral 聯合創始人兼首席執行官 Arthur Mensch承認洩露，是他們一位早期客戶員工過于熱情，洩露了他們訓練并公開釋出的一個舊模型量化版本。
至于Perplexity這邊CEO也澄清說，他們從未獲得過Mistral Medium的權重。
網友擔心是否會撤下這個版本。
有趣的是，Mensch并沒有要求删除HuggingFace上的文章。
而是留下評論說：可能會考慮歸屬問題。
參考連結：
[1]https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/
[2]https://twitter.com/teortaxesTex/status/1752427812466593975
[3]https://twitter.com/N8Programs/status/1752441060133892503
[4]https://twitter.com/AravSrinivas/status/1752803571035504858