【搜狗创始人王小川打造130亿参数量的百亿通用语言模型】AI奇点网7月11日报道丨搜狗公司创始人王小川，目前正在专注于人工智能大模型研发领域。7月10日，旗下百川智能公司发布130亿参数量的开源通用大语言模型Baichuan-13B-Base，并在此基础上衍生了一个聊天机器人大模型以及两个小一点的垂直量化模型。
这是百川智能继今年6月后再次发布通用大语言模型，之前该公司打造了一款70亿参数量的中英文语言模型Baichuan-7B。根据公开的参数量信息，百川大模型的参数量超越了另外一款开源大模型LLaMA-13B多达40%，是当前开源的130亿级参数量下最大的模型。
据悉，新版的大模型改进了编码技术，能够处理更长的对话窗口内的上下文吞吐量，可以精准推断超出训练量的上下文长度，从而更准确的获取正文信息量，做出更准确的内容预测及生成。
