天天看点

Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词丰色 发自 凹非寺量子位 报道 | 公众号 QbitAIDeepfake的“用武之地”又多一个演员看完表示很不安

作者:量子位

< h1级"pgc-h-right-arrow">来自寺庙的丰富色彩

量子比特报告|公众号 QbitAI</h1>

当电影用另一种语言配音时,演员的面部动作和嘴型在新语言中会有很大的不同。

不要相信你,当章子彪的《卧虎藏龙》被配音成英文的时候:

视频加载...

看起来是不是很奇怪?

现在,最新的技术可以帮助你避免这种"尴尬":

使用Deepfake来操纵演员的嘴唇和面部表情,以匹配新的语言配音。效果非常逼真!从口中看,演员刚学了一门外语,然后翻拍了一个版本。

电影中的"双面强盗"罗伯特·德尼罗(Robert De Niro)以不同的方式"说"德语:

德语、日语和西班牙语的"好消息":

如果你没有看过这两部电影,你会怀疑它们不是真正的原创吗?

< h1类"pgc-h-right-arrow">Deepfake的"使用"了一个</h1>

事情是这样的,电影《双面劫匪》的导演看到国外版时感到震惊,说画外音与角色的嘴形不符,毁掉了影片中许多精心制作的场景。

请注意,当用另一种语言为电影配音时,为了使对话更接近演员的嘴唇动作,有时会极大地改变角色的对话。

"我非常难过,"导演说。如果你在一句台词或一场表演中做一个小小的改变,你可以在故事的节奏上对一个角色产生很大的影响,这反过来又会对整部电影产生影响。"

最后,他忍不住看了电影中《变味》的外语配音,说自己还是不配,听了原版,开始"看"最新的Deepfake技术。

Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词丰色 发自 凹非寺量子位 报道 | 公众号 QbitAIDeepfake的“用武之地”又多一个演员看完表示很不安

他开始了他的研究,并参与了由德国马克斯普朗克研究所教授领导的AI配音项目。(该研究所已授予18位诺贝尔科学奖获得者)

他们的AI配音比传统的Deepfake复杂得多。您需要捕获一个场景中演员的面部表情和动作,以及用另一种语言说相同台词的人的面部表情和动作。然后将这些信息组合在一起以创建一个3D模型,该模型将演员的脸部和头部与画外音的嘴唇动作相结合。

导演和他共同创立的Flawless公司最终从该项目中获得了灵感,并与工作室讨论了将该技术应用于电影多语言版本的决定。

Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词丰色 发自 凹非寺量子位 报道 | 公众号 QbitAIDeepfake的“用武之地”又多一个演员看完表示很不安

然后是我们之前看到的演示效果,角色对话用德语和其他语言配音,演员的嘴形和面部动作与语言紧密结合,让观众不知道原版实际上是用英语拍摄的。

Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词丰色 发自 凹非寺量子位 报道 | 公众号 QbitAIDeepfake的“用武之地”又多一个演员看完表示很不安

<>h1级"pgc-h-arrow-right"的演员表达了不安</h1>

这项技术可以帮助工作室在制作多语言版本时避免昂贵的翻拍。但是,当一些演员看到自己被人工智能操纵"说"一口流利的外语时,他们表现出了既惊讶又担心。

可以理解的是,Deepfake一直存在争议。

触摸和羞耻的变脸技术已被用于合成名人,以及用于复仇或其他目的的普通人。政治中也有一些政治事件被用来合成名人视频,以做出不适当的陈述并影响选举。对社会和道德的影响。

Deepfake让美国人罗伯特·德尼罗用流利的德语表演台词丰色 发自 凹非寺量子位 报道 | 公众号 QbitAIDeepfake的“用武之地”又多一个演员看完表示很不安

在电影行业使用Deepfake的面部操作也可能引起争议。

一家也在做人工智能配音的公司负责人表示,不可能知道一些演员在看到他们的表演发生这种变化时会有什么反应,特别是如果他们不知道这是一台电脑。一些比较有名的演员可能根本不赞成。

美国演员工会(SAG)的总法律顾问表示,该技术可以在法律和道德上使用。使用任何此类技术必须得到有关行为者的批准,并且必须支付适当的赔偿金才能进行。

不知道人们期望这项技术在电影行业合法使用什么?

相关链接:

[1]https://www.wired.com/story/ai-制造-德尼罗-表演-线条-完美无瑕-德国/

- 完成 -

量子位 QbitAI 头条签名

关注我们,抢先了解尖端技术

继续阅读