解密優酷智能生産技術，看 AI 賦能内容數字化

優酷如何開啟内容數字化浪潮？

既然是優酷，就要從長視訊、短視訊以及最後分發呈現出來的所有的視訊形态說起。優酷的數字化也會從視訊的整個生命周期來分析。優酷作為一個長視訊網站，從長視訊最初的拍攝到制作再到完成，我們有内容評估的數字化系統。

當一個長視訊拍攝出來之後，如何利用這種版權内容再進行二次的創作，這就是創作内容的的數字化；接下來我們希望生成一些短視訊特效，讓使用者看起來更好看，更有趣，這是特效的數字化。

最後，在終端上使用者拿着手機、平闆或者通過電視大屏觀看視訊的時候如何體驗内容數字化的好處？

是以，内容的數字化浪潮要從整個視訊的生命周期來講。

創作要素解構

第一個是内容評估的數字化。在阿裡巴巴文娛有一個北鬥星的團隊，是專注于做長視訊的内容評估，它的核心點是希望通過後驗的資料去衡量整個視訊内容的品質，視訊内容或者視訊的生産元素。

其中又包括一些外延的東西，例如導演、編劇、演員、劇本等，這些東西是大家平時能聽到的，但距離自己又很遙遠的東西，這些就是視訊内容生産外延的内容。

外延之外還有内延資訊，包括呈現出來視訊本身它涵蓋的一些人物的資訊、鏡頭的語言以及本身人物的性格等。所有的這些資訊都是基于我們 NLP 語言（Natural Language Processing）或者 CV（Computer Vision）的能力進行解構。

是以當我們有了外延資訊和對于内容的解構之後，我們希望可以通過這些資訊去預測使用者的心理感受或者對内容的喜好度。

從資料側獲得的先驗資料，其中包含了非常直覺的收視率、使用者的互動狀态、評論數，我們希望通過這些資料可以進一步挖掘使用者的心理狀态、生理狀态，以此推動我們核心能力來完成内容的評估。

内容的評估需要應用到 AI 的能力，一個是 AI 評估，一個是 AI 體檢。

什麼是 AI 評估？

一個視訊片段是否好，以前用人來審，需要花費大量的人力。如果用人工稽核預測一部電視劇是否是爆款，會非常非常困難。是以在内容評估上我們利用北鬥星的系統，從最開始演員、供應商、IP 等級、導演和編劇的資訊預估這部電視劇是什麼樣的水準。

并且，可以對電視劇裡的的演員做進一步更深的分析，例如他的粉絲價值，整個口碑等。通過分析我們讓平台進一步做輔助性決策，再利用我們的 AI 技術最終評估這部電視劇到底是什麼檔次。

第二個點是 AI 體檢。

當視訊片段拍完剪輯好之後，用算法來預測這些片段，哪些是看點，哪些是高潮點，哪些是劇情非常拖沓無聊的點，去尋找使用者可能棄劇的風險點，給出一些建設性的意見，幫助剪輯師進行剪輯優化。這是優酷内容評估另外一個應用點。

在長視訊之後，就是短視訊了。

優酷的《山河令》和《司藤》在放送結束之後，我們如何進一步利用它做二次的短視訊創作？

短視訊最近幾年來非常火，去年短視訊消費使用者達 7 億多人，短視訊工會和 MCN 數量超過兩萬家，市場規模超過兩千億，在如此龐大的短視訊消費市場下我們面臨了一些問題，高品質的短視訊非常稀缺，大量的低質的、粗制濫造的短視訊充斥在整個市場上。

是以，我們想利用自動化生産的方式代替掉那些品質低劣的短視訊，讓我們的智能創作達到人創作的水準，這是優酷想要去做的。

是以阿裡巴巴文娛研發出了概念級的視訊的解構能力去賦能智能創作。這是什麼呢？

當每次提到視訊解構、CV 能力，大家可能都會自然想到一些标簽，對于一個視訊場景，裡面有人物、物體、運動等，在過去 CV 領域這些是特别客觀的标簽描述，但進行視訊創作的時候，這些東西并不是創作者們非常需要的，創作者們需要的元素或者素材是能夠讓觀衆有深切感受的，是以我們重新定義了語義級的标簽，才能夠賦能智能創作。

視訊解構賦能短視訊生産

有了基于概念級的标簽解構能力之後我們可以進行一系列的編輯。

在短視訊中使用濃縮的手段，把這個片段中平淡的劇情或者沒有對話的情景切掉，将對話或者有資訊含量的片段拼接在一起，最終形成完整的短視訊片段。

在綜藝的場景，将貓晚易烊千玺的片段進行重新剪輯，做成粉絲向的短視訊，可以取得很好的效果。

以上所有的視訊制作，都利用了我們過去這一年以來所沉澱下來的 AI 技術，所有的視訊都是可以實作自動化的生産。

我們目前整個團隊的智能生産技術的産能是一天萬條以上，但由于每一條都要經過核審，稍微限制了一下産能。智能生産的品質在人工稽核的整體通過率是 90%，遠遠高于普通人的或者優酷的 UP 主自己創作的視訊通過率。

視訊濃縮，多風格化劇集快看

現在大家碎片化的消費習慣，長視訊的觀看率越來愈低，是以我們針對這種情況有不同細度濃縮的手段。

如 5 分鐘的短劇，3 分鐘看一部電影等。在優酷看劇時，每個劇前面有一個 15 秒的前情提要，這就是我們自動化生産出來的。

同時，因為我們具有風格化的解構能力，是以可以提取不同風格的前情提要，對于女生做甜向的前情提要，對于男生來說可能更喜歡悲壯型的，這些提要都是可以抽取出來的。視訊的濃縮就是我們把不同風格的關鍵劇情擇出來，在短時間内讓你了解到故事的主線。

另外一種短視訊的類型也是現在非常火爆的，那就是解說類的短視訊。

我們重新定義了所謂的 Text to Video 的技術，把視訊進行解構化，生産視訊劇本解說詞，兩者進行比對，最後通過劇本生成解說類短視訊。

這裡的解說詞是來自于人工編輯或者現有劇本，視訊的解說 tts 能力是由達摩院提供。目前 tts 已經有 10 多種風格，有不同方言，不同的解說風格。

接下來，還有圖文轉視訊，每個熱點新聞底下都有配圖，我們可以使其直接生成視訊，但生成的視訊不是 PPT，而是結合 IP 版權圖檔相對應的視訊内容。

娛樂資訊類的視訊也是一樣，其中的圖檔可以直接溯源定位找到我們對應的視訊版權内容。過于複雜的圖檔，視訊生産才會直接使用圖檔。

内容呈現：特效讓視訊更好看

視訊的特效，我們會針對于動作、動作的幅度以及主角人物等進行自動化加特效，這裡涉及到的 CV 技術包括：動作檢測，動作幅度檢測，範圍檢測，明星識别，BGM 等。

瑣碎的東西來加特效顯示會非常亂，是以我們對于運動幅度還是有一定要求的，達到某個幅度我們再加特效，相對來說觀看體驗好很多，在 CG 側我們有自己的大千雲端渲染系統，支援不同特效的制作。

綜藝特效是目前制作綜藝必不可少的環節，然而制作一個特效，非常費時，我們的目标是讓 AI 發現、标注和凸顯綜藝節目的精彩時刻，讓 AI 制作快速化，批量化。

目前，我們基于 CG 技術已經研發出 30 餘種特效類型，《這！就是街舞》就是我們特效技術一個小小的展示。

CBA 有這麼一個子彈時刻，在子彈時刻上我們可以加投籃的熱區圖，告訴大家這個投籃命中度是多少，可以輔助大家得到更多的資訊。

互動上的新玩法，就要講到端上了，第一個視訊橫轉豎。比如在地鐵上非常擁擠的時候大家都是豎着看的，很少有橫着看的，基于這樣的需求我們也得做把橫的視訊轉為豎的，這裡的難點是确定主體，第二是穩定。

我們還有一個技術是自由視角視訊，這是國内也是業内第一個在 C 端上，使用者可以體驗自由視角的産品，在去年的《這！就是街舞》節目上我們已經應用了這個技術。

科技冬奧 冰雪 VR

今年的《這！就是街舞》我們技術還會進一步更新，大家敬請期待。在前段冬奧測試賽上也進行了測試，我們希望用這個技術讓使用者多角度觀看他們想看的體育内容。并且阿裡巴巴文娛會不斷創新視訊技術，為大家帶來不一樣的視聽體驗，開啟中國視訊技術内容數字化浪潮。

掃碼入群和作者一起探讨音視訊技術

擷取更多視訊雲行業最新資訊👇

「視訊雲技術」你最值得關注的音視訊技術公衆号，每周推送來自阿裡雲一線的實踐技術文章，在這裡與音視訊領域一流工程師交流切磋。公衆号背景回複【技術】可加入阿裡雲視訊雲産品技術交流群，和業内大咖一起探讨音視訊技術，擷取更多行業最新資訊。