天天看点

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

作者:科大讯飞

9月17-18日,2023第十二届中国智能产业高峰论坛(CIIS 2023)在江西南昌举办。聚焦大模型、行业智能化等热门议题,论坛聚集多位院士、科学家、教育家、企业家洞见智能产业创新趋势与机遇,助力江西数字经济高质量发展,线上线下超2300万人次观会。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

此次高峰论坛主论坛上进行了中国人工智能学会2023年度增选会士颁牌仪式,科大讯飞副总裁、研究院院长刘聪作为今年新增的8位会士代表之一,现场接受了授牌。

高峰论坛期间,刘聪与科大讯飞副总裁、研究院常务副院长王士进还分别参与了相关专题论坛,分享讯飞在多模态大模型上的技术与应用创新、讯飞星火认知大模型在行业领域的落地成果等内容;刘聪还担任了“大模型产业赋能和创新创业的机遇与挑战”专题论坛主席,组织来自中科大、上海交通大学、华为、快手、未来智能、面壁智能等高校与企业的学者专家齐聚,分享大模型技术创新成果和产业化应用趋势,以及大模型赛道创业实战经验。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

刘聪当选中国人工智能学会会士

中国人工智能学会设立会士的目的,是为了鼓励学会会员不断攀登科学技术高峰,用于表彰在人工智能领域有卓越成就,或者关心学会、为学会做出重大贡献的高级会员,会士也是会员在学会的最高学术荣誉。

从2017年设立会士机制至今,中国人工智能学会已评选出119位会士,今年新增8位。会士均为来自于学界和产业界的权威学者专家,是中国人工智能技术和产业应用领域卓越的领军人物。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

此次刘聪当选会士,是学会对科大讯飞在人工智能技术及应用创新贡献与成绩的高度肯定。作为讯飞星火认知大模型的研发负责人之一,刘聪表示未来讯飞将持续推动核心源头技术的创新研究,为夯实大陆人工智能快速稳定发展的技术基础持续做贡献;同时发挥产业赋能价值,推动智能产业与实体经济的发展,为加快产业智能化升级进程添砖加瓦。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

大模型多模态能力协同涌现

生成式AI应用“未来可期”

8月15日,讯飞星火认知大模型V2.0发布会上重磅升级了多模态能力,在图像描述、图像问答、识图创作、文图生成、虚拟人合成等方面全新升级。从认知智能大模型到多模态智能大模型,其中仍以认知智能大模型为核心,将语音、图像、视频等其他模态对齐到统一语义空间中,可以结合插件、工具实现多模态的协同涌现。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

在“多模态大模型与文档图像智能理解”专题论坛的演讲分享中,刘聪表示,星火认知大模型v2.0背后的多模理解能力结合了松耦合、紧耦合:

松耦合多模理解借助独立的图文转换器将图像转换为对应的文本信息,直接利用认知大模型完成交互,无需端到端训练。这种方案对于某些特殊的图像、尤其是文档图像,通过图文识别与结构化理解技术,可以提取图像中蕴含的完整信息。

基于讯飞此前在图文识别领域的技术积累与全面的应用产品,再与讯飞星火松耦合多模理解能力结合,就产生了例如讯飞AI学习机中类人作文批改、医疗诊后管理等创新应用。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

讯飞AI学习机作文批改

紧耦合多模理解通过视觉表征学习构建图像特征编码器,借助桥接器抽取关键信息并实现跨模态对齐,以端到端微调保障多模态对话式任务理解及泛化能力。

目前在讯飞星火中,无论是上传图片后针对图片提问题、要求对图片进行描述,还是在绘本有声故事助手中通过一张图片来生成绘本故事和AI朗读,用户都可以直接体验多模理解技术并参与共创。同时,多模态能力也赋能星火语伴APP、讯飞AI学习机实现口语陪练、AI创意画板等新能力。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

讯飞星火绘本有声故事助手

在应用颇为广泛的图文识别技术上,多模态大模型与其紧密结合、能够碰撞出更多“火花”。对于以语言为核心的认知智能大模型来说,图像中的文字是信息的重要载体,能够辅助对图像内容的深度理解;利用更强的认知智能大模型,则能够强化图文结构化理解中的解码器能力,提升医疗、教育等需要外源知识、推理能力场景下的核心效果。“认知大模型的范式可以应用到图文识别领域,进一步实现统一的通用图文识别模型。目前针对不同的任务,我们也在不断摸索。”

多模态大模型已初显威力,但仍然面临一定的技术挑战。例如在感知理解中会出现“幻觉”,在细节感知与生成问题上不准确,难以完成多实体复杂关系的图像生成。“多模态大模型未来具有很大的发展前景,站在实用角度值得我们持续探索研究。”刘聪表示。

科大讯飞副总裁、研究院常务副院长王士进参与“生成式AI基础技术与产业应用”专题论坛,分享了讯飞对于生成式AI及大模型产业应用的观点。

王士进表示,生成式AI与大模型密不可分,目前在讯飞星火认知大模型里,用户可以直接体验文字、图片、视频等多模态的AI生成内容,在讯飞AI学习机、星火语伴、讯飞智作等C端产品也有相应创新功能。

2023中国智能产业高峰论坛 | 解码科大讯飞星火认知大模型

目前讯飞星火已落地应用于多个行业,如教育领域持续赋能相关产品,在作文批改、口语对话等方面因材施教、减负增效;在医疗方面,赋能诊后康复管理平台为患者提供服务,提升管理效率同时保障患者安全;在办公方面,搭载讯飞星火的智能硬件可做到一键成稿、语篇规整、会议纪要等功能,提高工作效率、激发创意灵感;在汽车领域,讯飞星火赋能后实现汽车类人自然新交互,推动汽车智能化升级;在工业领域,讯飞星火助力羚羊平台供需高效匹配。

“大模型的行业应用挑战重重,想要用好还需要关注技术可达性、经济实用性、应用边界性几个特点,同时也需要有科学的评测体系进行评价。”王士进表示。

在大模型技术持续进化与应用创新落地的浪潮之下,讯飞星火认知大模型也将不断迭代核心技术能力,赋能千行百业,真正实现解放生产力、释放想象力,助力数字经济实现高质量发展。

继续阅读