【搜狗創始人王小川打造130億參數量的百億通用語言模型】AI奇點網7月11日報道丨搜狗公司創始人王小川，目前正在專注于人工智能大模型研發領域。7月10日，旗下百川智能公司釋出130億參數量的開源通用大語言模型Baichuan-13B-Base，并在此基礎上衍生了一個聊天機器人大模型以及兩個小一點的垂直量化模型。
這是百川智能繼今年6月後再次釋出通用大語言模型，之前該公司打造了一款70億參數量的中英文語言模型Baichuan-7B。根據公開的參數量資訊，百川大模型的參數量超越了另外一款開源大模型LLaMA-13B多達40%，是目前開源的130億級參數量下最大的模型。
據悉，新版的大模型改進了編碼技術，能夠處理更長的對話視窗内的上下文吞吐量，可以精準推斷超出訓練量的上下文長度，進而更準确的擷取正文資訊量，做出更準确的内容預測及生成。
