天天看点

阿里巴巴达摩院夺得首届“马栏山杯”国际音视频算法优化大赛【画质损伤修复赛道】冠军

首届“马栏山杯”国际音视频算法优化大赛颁奖盛典暨高峰论坛于9月8日举行。这场由中国工业与应用数学学会、中国网络社会组织联合会作为指导单位,湖南省互联网信息办公室、湖南省科学技术协会主办,中国(长沙)马栏山视频文创产业园、芒果TV承办的算法盛事,云集了全球优秀的算法精英。一大批来自高校、科研院所、互联网企业才子才女们,共1294支队伍报名参赛,其中北京大学34支,清华大学25支,麻省理工学院等国外顶级名校37支。

在这次论坛上,达摩院高级算法专家任沛然受邀做了《视觉智造——智能视觉编辑与增强》的主题报告,介绍了达摩院在智能视频植入和超高清视频增强方面的技术进展和产品解决方案。

阿里巴巴达摩院夺得首届“马栏山杯”国际音视频算法优化大赛【画质损伤修复赛道】冠军
在历时一个多月的赛程中,由阿里巴巴达摩院同学曾辉、杨熹、向非组建的Mangogogo队一路稳居初赛复赛第一,以88.503的成绩夺得画质损伤修复赛道的冠军。
阿里巴巴达摩院夺得首届“马栏山杯”国际音视频算法优化大赛【画质损伤修复赛道】冠军

Mangogogo团队设计的方案针对视频在采集、后期制作等环节产生的噪声、压缩损伤等问题做了很多巧妙的算法优化设计,如充分利用视频图像帧与帧间的特性达到视频细节恢复能力,同时模型设计能够缓解大分辨率和显存有限之间的矛盾,并融合几个互补算法模型的不同优点,将低画质视频恢复为高画质视频。最终,他们凭借多重复合优化方案达到最佳修复效果,一举夺魁,给该领域算法模型的优化提供了可借鉴的创新思路。夺冠方案主要有两个方面的优化,一是采用了512x1024和512x512两种大小的patch进行训练,足够大的输入图像以充分利用帧间互补信息。二是在模型结构上也采用了互补设计,其中一个模型重点利用注意力(attention)机制,一个模型层数更深以获取更大的感受野信息。通过不同的设计可以得到更加互补的融合效果,这是从之前比赛中积累总结的经验。

Mangogogo的队员来自达摩院人工智能中心,队长曾辉曾在计算机视觉和图像处理领域顶级会议CVPR, ICCV和顶尖期刊TPAMI和TIP发表数篇论文,在他的带领下,Mangogogo团队曾在第一届全国人工智能大赛AI+4K HDR赛道中勇夺冠军。

Mangogogo近期屡获视频画质增强与修复大赛冠军,其技术底蕴源自阿里巴巴在该领域的持续大量研发投入。近年来,国家层面正在推动4K超高清发展战略,国家广播电视总局今年6月刚刚印发了《4K超高清电视节目制作技术实施指南(2020版)》。我们可以预见,画质增强在广播电视和泛娱乐视频领域的需求会越来越大。此外,画质修复也常常应用于历史影像的还原,除了有助于影视文化传承,这也是视觉AI技术赋能传媒行业的典型场景,有着巨大的商业潜力。

阿里巴巴达摩院已将相关技术产品化,并推出阿里云AI视频增强解决方案:

https://vision.aliyun.com/solution/videoenhan

依托达摩院先进的超分、去噪、插帧、HDR色彩增强、字幕重生、去划痕等AI算法能力,该方案囊括了4K超高清增强、通用画质增强与老片修复、以及即将推出的直播视频增强等典型视频增强场景。

欢迎行业内相关单位与个人洽谈合作,联系方式如下:

邮箱:[email protected]

钉钉群:阿里云AI视频增强咨询

阿里巴巴达摩院夺得首届“马栏山杯”国际音视频算法优化大赛【画质损伤修复赛道】冠军

继续阅读