天天看点

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

作者:上观新闻

跳舞机?体感游戏?智能健身镜?打开这款音画并茂的手机应用,有一种“一专多能”的体验感。原来,一批不会跳舞的上海大学上海电影学院师生,历时两年多用电影特效技术捕捉了全国十多位非遗传人的各色曼妙舞姿,通过虚拟现实、增强现实等手法生成三维“动漫模特”,开发为“智能民间舞”APP,让手机秒变练舞魔镜,开舞林大会智能打分。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

这一国家艺术基金“民间舞蹈数字化推广平台建设”公益项目,从广场舞大妈到幼儿园小孩,让不同年龄层次的舞蹈学习者都能通过手机屏幕,“镜像”学习丝绸之路上至少20种各族舞蹈。日前,上大团队先在安卓平台上线了应用,并已提交苹果商店,预计下月也将过审上架,供民众免费下载。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

“智能民间舞”APP界面

【动作捕捉:正宗传人入数据库】

陕北秧歌、兰州太平鼓、蒙古族盅碗筷舞、甘南锅庄舞、藏族巴郎鼓舞、维吾尔族刀郎舞、回族踏脚舞……如此众多的特色舞种,尽管网上有海量的视频素材,却难以搜索小视频在线学成。为此,上海电影学院数字媒体创意工程专业的师生萌生了新想法:能否像市场上的虚拟健身教练一样,让民间舞蹈也登上手机“舞台”,供学舞者跟跳“仿真教师”,并引入360度全视角,可任意缩放局部动作。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

非遗传承人与上大团队在特效中心留影

舞蹈老师来自哪里?在田丰老师带领下,前后有20多人组成的这支团队,沿着丝绸之路请来最正宗的非遗传人。作为国家级非物质文化遗产代表性项目,安塞腰鼓在发展演变过程中将舞蹈、武术、体操、打击乐、吹奏乐、民歌等融为一体。听说这一平台,安塞腰鼓国家级传承人刘延河与上海师生一拍即合,与助手一起从延安来沪,走进上大市级工程技术中心——电影特效中心。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

在实验室的绿背景前,他们穿上“动捕服”,跳了一两小时。为项目“录制”了3个数字版本的安塞腰鼓华彩乐段,包括年长版、青春版和双人版,形成了数十兆的基础数据库。经过对各地十多位这样的非遗传人动作捕捉,他们采集到丝路沿线不同民族民间舞蹈动作,建成数字化的丝路舞蹈基因库。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

【人体评分:入门门槛并不高】

在团队中,研二学生程婉秋可能是唯一的业余舞蹈爱好者。面对屏幕上的影像采集镜头,她第一次操练起上海市级非遗——“打莲湘”舞蹈,“指导老师”则是以金山廊下小学一位传承人为原型的虚拟舞者。程婉秋实时跟跳,并按屏幕下方的节奏点提示,做出标志性的舞蹈动作。虽然不算很连贯,但平台依然打出60分以上的“及格分”。除了提示音的点赞声外,在旁师生们也都为之叫好。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

从正步、垫步到马步,从移颈、抖肩到颤膝,从硬腕、软腕到对腕,还有三步一撩等等,这些舞蹈基本动作你掌握了吗?既然是智能的民间舞,就一定能当陪练,还能打分。目前,团队还在不断升级迭代,继续优化人工智能训练评分模块。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

人工智能(AI)需要很大的算力,但融入手机这样的小平台,需要控制好合适的计算精度。团队中负责软件编程的研二学生李御之告诉记者,由于不需要外接动作感知设备,只靠摄像头来探测学舞者的形体动态,因此他们排除背光、多色等背景干扰,尽量减轻数据干扰。在这样的算法加持下,这套人体评分系统比较“宽容”,对于初学者的入门门槛并不高,几经训练也能拿到高分。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

【修正误差:手足细部也高仿】

有的丝路舞种,比如敦煌舞,并非单一民族所有,也没有特定传人,于是团队请出本院从北京舞蹈学院毕业的专业教师朱雅菲来示范。从飞天造型到反弹琵琶,朱老师演绎得惟妙惟肖。不过,周身包覆的动捕服,并不能同时覆盖手部或足部动作的细节。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

项目团队学子在开发软件

团队研究生王雪菲等擅长视觉形象制作的学子,耐心观察老师在举手投足之间的肢体语言,比如敦煌舞双手起舞时拇指和小指往往特别接近,于是她们不断在数据模型上进行修正与调整,让数字模特对原始舞者形成高仿效果。

手机秒变练舞魔镜,舞林大会智能打分!电影特效技术捕捉了十多位非遗传人舞姿

“民间舞蹈推广平台既要强调专业性,又要兼顾普适性,在传承与普及之际取得一种平衡。”上海电影学院副院长丁友东向解放日报·上观新闻记者表示。比如,经与哈萨克族“黑走马”代表性舞者沟通交流,平台主要抓住舞蹈中最带标识性的一系列经典动作,让人一看一学,就表现出这一马背上民族的骑马姿态,极富艺术表现力,同时也适合百姓锻炼。

值得一提的是,田丰团队利用各自专长,研发与教学同步相长,甚至还根据各种民间舞节奏,在APP中独立谱曲配器,自主创作舞蹈伴奏,让乐舞和谐合拍,视听一体享受。

栏目主编:徐瑞哲 文字编辑:徐瑞哲 题图来源:徐瑞哲 摄

来源:作者:徐瑞哲

继续阅读