天天看點

AI語音克隆公司ElevenLabs釋出了吊炸天的産品,配音員要失業了

作者:我為科技狂tech
AI語音克隆公司ElevenLabs釋出了吊炸天的産品,配音員要失業了

媒體日前報道,美國人工智能AI語音克隆初創公司ElevenLabs在B輪融資中籌集了8000萬美元,使得該公司的估值目前達到11億美元——成為了一家價值10億美元以上的獨角獸初創企業。而ElevenLabs的技術,如今已被财富500強公司中41%的員工使用。

ElevenLabs所專注打造的産品,是允許使用者将文本轉換為語音,并即時以任何語言生成自然的AI語音。此外,該公司還開發了一個AI工具,使用者隻需幾分鐘的音頻就可以建立自己的AI語音克隆。除了融資公告之外,ElevenLabs還宣布了幾個即将推出的新産品,包括配音工作室、語音庫市場,以及預覽版的移動應用閱讀器——該閱讀器可以将文本和URL實時轉換為音頻,而且具有改進速度和語言覆寫範圍的新模型。

AI語音克隆公司ElevenLabs釋出了吊炸天的産品,配音員要失業了

ElevenLabs的核心優先事項之一是安全和負責任地開發AI技術,他們将重點關注使用檢測技術,以確定所有由AI生成的内容都能夠被清晰地識别出來。為此,他們去年推出了一個AI語音分類器,用于驗證音頻樣本中是否包含ElevenLabs生成的内容。

在此,可以通過下面一個産品應用示例,試着了解 ElevenLabs在AI語音合成領域的技術實力。

ElevenLabs現在推出了一個全自動化的AI配音或視訊翻譯工具(配音工作室)AI Dubbing & Video Translator。使用者隻需要上傳視訊或者粘貼視訊連結,這個工具就能全自動地在幾十秒到幾分鐘内将視訊翻譯成29種語言。更厲害的是,能夠直接克隆原視訊裡面的聲音,來給視訊配音。就算是視訊裡面有多個人說話,也能全部克隆翻譯。

AI語音克隆公司ElevenLabs釋出了吊炸天的産品,配音員要失業了

有網際網路使用者已經體驗了ElevenLabs的産品。該網際網路使用者表示,目前為止,ElevenLabs是自己用過的多語言語音合成 AI 中性價最好的!需要每月22美元的Creator訂閱才能使用Dubbing服務,包含2小時(10萬字),超過了2小時則是按每1000字0.3美元收費。不過,從目前的算力成本來看,AI語音合成的可用性要遠大于AI視訊合成,這是人類溝通的核心之一。

以下是視訊是英偉達CEO黃仁勳在去年2月“ChatGPT 的iPhone時刻”的演講節選,ElevenLabs在十幾秒鐘就完成了中文配音,并且克隆了黃仁勳的原聲和演講語氣。

視訊加載中...

下面這個視訊就是由ElevenLabs翻譯的中文官方視訊:

視訊加載中...

這個視訊的英文原版:

視訊加載中...

AI Dubbing & Video Translator的主要功能如下:

1、視訊翻譯和配音:将視訊的聲音從一種語言翻譯成另一種語言,并且能保持原始發言者的聲音特質不變。

2、廣泛應用:可以用于多種場合,比如讓不同語言的觀衆看懂外語視訊,或者讓公司的宣傳和教育訓練視訊能被不同國家的員工了解。

3、簡單操作:隻需上傳視訊,選擇想要的語言,剩下的翻譯和配音工作都由AI自動完成。

4、支援多種視訊平台:直接複制粘貼YouTube、TikTok、Twitter等平台上的視訊連結即可進行配音。

5、保持原聲風格:在翻譯時,AI會盡量保持視訊中人物的原聲調和風格。

6、适用于多發言者視訊: 能夠處理多個人物的對話,確定每個人的聲音都能被正确識别和翻譯。

7、全自動化流程:從上傳視訊到翻譯、配音,整個過程都是自動的,無需人工幹預。

8、多語言支援:支援将視訊翻譯成29種不同的語言,覆寫全球多數主要語種。

9、多種檔案格式支援:不僅支援視訊檔案,還能處理音頻檔案,如MP3、MP4等。

(我為科技狂整理釋出)

繼續閱讀