天天看點

通義千問開源320億參數模型,已實作7款大語言模型全開源

作者:TechWeb

4月7日消息,阿裡雲通義千問開源320億參數模型Qwen1.5-32B,可最大限度兼顧性能、效率和記憶體占用的平衡,為企業和開發者提供更高成本效益的模型選擇。目前,通義千問共開源了7款大語言模型,在海内外開源社群累計下載下傳量突破300萬。

通義千問此前已開源5億、18億、40億、70億、140億和720億參數的6款大語言模型并均已更新至1.5版本,其中,幾款小尺寸模型可便捷地在端側部署,720億參數模型則擁有業界領先的性能,多次登上HuggingFace等模型榜單。此次開源的320億參數模型,将在性能、效率和記憶體占用之間實作更理想的平衡,例如,相比14B模型,32B在智能體場景下能力更強;相比72B,32B的推理成本更低。通義千問團隊希望32B開源模型能為下遊應用提供更好的解決方案。

通義千問開源320億參數模型,已實作7款大語言模型全開源

基礎能力方面,通義千問320億參數模型在MMLU、GSM8K、HumanEval、BBH等多個測評中表現優異,性能接近通義千問720億參數模型,遠超其他300億級參數模型。

通義千問開源320億參數模型,已實作7款大語言模型全開源

Chat模型方面,Qwen1.5-32B-Chat模型在MT-Bench評測得分超過8分,與Qwen1.5-72B-Chat之間的差距相對較小。

通義千問開源320億參數模型,已實作7款大語言模型全開源

多語言能力方面,通義千問團隊選取了包括阿拉伯語、西班牙語、法語、日語、韓語等在内的12種語言,在考試、了解、數學及翻譯等多個領域做了測評。Qwen1.5-32B的多語言能力隻略遜于通義千問720億參數模型。

通義千問開源320億參數模型,已實作7款大語言模型全開源