天天看點

讓奧黛麗·赫本唱《上春山》,通義App推出照片唱歌功能

作者:都市快報橙柿互動

把一段音頻、一張照片輸入AI模型,就能讓圖中人物開口唱歌說話,讓奧黛麗·赫本唱《上春山》、陶俑仕女說英文RAP、愛因斯坦說中文段子。不久前,這款名為EMO的模型因為阿裡通義實驗室的一篇論文火遍海内外。今天,EMO正式上線通義App,所有使用者都可以免費使用。

打開通義App,進入“全民舞台”頻道,就可以來到EMO産品頁面“全民唱演”。在歌曲、熱梗、表情包中任選一款模闆,上傳肖像照片,EMO就可以合成視訊。

讓奧黛麗·赫本唱《上春山》,通義App推出照片唱歌功能

通義App首批上線了80多個EMO模闆,包括熱門歌曲《上春山》《野狼disco》等,網絡熱梗“缽缽雞”“回手掏”等。目前,通義App暫不開放使用者自定義音頻,使用者隻能選擇App預置的音頻來生成視訊。

EMO是通義實驗室研發的AI模型,其背後的肖像說話(Talking Head)技術是目前大熱的AIGC領域。EMO之前的Talking Head技術都需針對人臉、人頭或者身體部分做3D模組化,通義實驗室在業界率先提出了弱控制設計,不需模組化就可以驅動肖像開口說話,不僅降低視訊生成成本,還大幅提升了視訊生成品質。

讓奧黛麗·赫本唱《上春山》,通義App推出照片唱歌功能

EMO學習并編碼了人類表達情緒的能力,能将音頻内容和人物的表情、嘴型比對,還能把音頻的語氣特征和情緒色彩反映到人物微表情上。

讓奧黛麗·赫本唱《上春山》,通義App推出照片唱歌功能

2月底,通義實驗室公布相關論文,EMO随之成為繼SORA之後最受關注的AI模型之一。未來,EMO技術有望應用于數字人、數字教育、影視制作、虛拟陪伴、電商直播等場景。

通義App近期爆款頻出,現象級應用“全民舞王”曾在社交平台掀起“兵馬俑跳科目三”“金毛跳舞”的熱潮,全民舞王背後的模型Animate Anyone也出自通義實驗室。近期,通義APP還陸續推出了超長文檔解析、AI編碼助手、AI會議助手等免費實用功能。通義大模型正在成為越來越多使用者的超級AI助手。

繼續閱讀