天天看點

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

作者:手機攝影與好奇寶寶

黴黴說流利中文、郭德綱用英文說相聲…,相信最近幾天你都刷到過這些視訊,最近這些爆火的視訊背後又使用了哪些核心的技術呢?别着急,好奇寶寶分四步帶你一起輕松了解這些核心技術。

先來看看郭德綱的英文相聲。

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

郭德綱用流利英文說相聲

黴黴的流利中文

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

黴黴說流利中文-AI合成版本

原始版本其實是這樣的。

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

黴黴說英文-原始版本

再來看看沃森的這段中文,注意看中文嘴型跟英文嘴型差別

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

沃森說中文-AI合成版本

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

沃森說英文-原始版本

你以為這就完了,還有特朗普、憨豆說流利中文

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

憨豆說英文-原始版本

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

憨豆說中文-AI合成版本

那麼這些視訊背後究竟又采用了哪些核心技術呢?好奇寶寶帶你分步驟深入了解一下。

要想做到這一些需要哪些核心技術呢?其實,這其中涉及到的技術可分為四步:1、語音轉文字;2、智能翻譯;3、聲音風格轉換;4、嘴型比對。

讓我們以蔡明老師說英文脫口秀為例來說明這個過程:

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

蔡老師英文脫口秀-AI合成版本

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

蔡老師脫口秀-原始版本

第一步語音文本轉換:

在原版視訊中,蔡明老師說的獨幕喜劇是中文的,要想讓蔡明老師說英文,首先我們得讓機器了解蔡明老師說的内容。語音轉文本技術即可以達到這個目的。輸入一段語音,我們通過這個技術轉成文本。這個過程就像我們平時使用微信語音轉文本功能一樣,本身就是一項比較成熟的技術了。

第二步智能翻譯:

利用上面的語音轉文本技術,我們可以輕松擷取蔡明老師說話的内容,但想讓蔡明老師說英文,還需要将這些中文的文本翻譯成英文。這個過程就跟我們使用的文本翻譯軟體是一樣的,輸入中文自動翻譯成英文。

第三步聲音風格轉換:

我們可以從視訊中看到蔡明老師說話的語音、語調都帶着一股純正的英文腔,跟原本的中文聲音有很大的差別。是以,想讓蔡老師說出純正的英文,還需要将蔡明老師說話的聲音轉換成英文的腔調。這裡就涉及到聲音克隆技術,或者風格轉換技術。将一種風格的内容轉換成另外一種風格。不知道有沒有人想起來以前網絡很火的楊幂扮演的黃蓉,其實就是将朱茵的風格變成了楊幂的風格,隻不過這裡是聲音風格轉換而不是圖檔風格轉換。

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

黃蓉與郭靖-AI合成版本

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

黃蓉與郭靖-原始視訊版本

第四步嘴型比對:

除了聲音帶有英文腔調,從說話的内容來看,嘴型也很像。要想做到這一點,還需要做嘴型比對。這裡用到的也是最近幾年很流行的AI生成技術。例如GeneFace++,想深入了解的同學可以去了解這篇論文。總之,我們隻需要知道,有這麼個工具,可以做嘴型比對即可。仔細看特朗普說中文的視訊,中文的嘴型跟英文版的嘴型還是有差異的,關鍵還是能各自比對的。

分四步深入了解郭德綱為什麼可以用流利的英文講相聲
分四步深入了解郭德綱為什麼可以用流利的英文講相聲
分四步深入了解郭德綱為什麼可以用流利的英文講相聲

GeneFace++論文

分四步深入了解郭德綱為什麼可以用流利的英文講相聲

GeneFace推理過程

看完這四步,相信你已經了解了這些核心技術,你覺得這些核心技術還能帶來哪些有趣的應用呢?你又是否會擔心AI的這些創作呢?

#科普掘金計劃#

繼續閱讀