阿裡妹導讀：文娛内容很難有完整的量化名額體系，内容的複雜性決定了文娛産品的不确定性。我們如何利用AI+大資料能力，建造文娛的内容認知大腦？串聯内容全生命周期，實作對内容、流量、宣推等的“未蔔先知”，提升對爆款的預測和生産能力？這本《5G+AI 阿裡文娛技術實踐》會告訴你。
全新電子書《5G+AI 阿裡文娛技術實踐》正式上線！通過窄寬高清革新、大麥物聯網技術、6DoF視訊技術等5大闆塊，帶你全面了解阿裡文娛獨具魅力的思考。點選文末下載下傳連結，即可下載下傳。
一、文娛産業趨勢及技術挑戰
文娛内容不像商品有完整的量化名額體系，它是一個複雜的實體，它跟意識形态以及使用者體驗強相關，對内容進行量化評估和衡量是非常困難的。
比如，選角兒。我們不能通過單一名額去衡量一個演員，我們需要綜合考量演員的演技、氣質、顔值、潛力等與否與某一個角色比對，并且能生成資料名額，以實作縱橫向的對比。另外，導演、主演組盤是否為最優組合，能否成為爆款？這是更加複雜的選擇模式問題。今天面臨的技術挑戰是如何進行知識的抽取、挖掘以及推理，确定什麼樣的組合是最優解。
除上述兩個問題，影片的拍攝過程更是一個龐大的系統工程和藝術創作過程。以《長安十二時辰》為例，該片非群演有約1000人，群演有300到1500人，曆時7個月拍攝217天。我們參考軟體工程行業，軟體工程發展了70年，主要研究三個層面：方法論、過程以及工具，然後是如何将三者組合。軟體行業的靈活開發對于軟體工程的品質和效率都有非常大的提升，如何将這些理論應用到内容制作産業，讓内容制作靈活起來？
内容靈活即知曉過程對結果造成的影響是什麼，并快速地調整内容創作過程，讓它更靈活。但内容行業面臨的獨有特點“延遲滿足”，讓使用者在内容的某一分鐘特别嗨，可能來自于前面的30分鐘鋪墊在那一分鐘爆發了，針對内容的這個特點，我們除了要做基本的知識圖譜語義的了解之外，還要考慮如何去做有效的對應分析，如何去做對應的知識抽取等問題。
今天這個問題加劇了，比過去還要複雜。在過去的5到10年裡，UPGC加上整個内容的生産量極大的發展，使用者的消費分層化、多樣化。全民爆款越來越少，使用者對内容的需求更加個性化。相應于内容生産端，就需要考慮不同使用者群的個性化需求。
二、文娛大腦基本架構：内容認知新動力
針對上面幾大困難，我們今天在做文娛大腦——優酷北鬥星智庫來解決。我們将所有的内容形式和使用者消費的資料都采集下來，将人工智能的技術手段、業務領域的細分理論做整合融合，建構内容認知架構。
内容認知架構分為兩部分，内容和使用者。其思路就是心理學發展的基本的思路。
1）内容側：對内容進行了解，包括外延和内涵。外延就是内容的各種基本屬性，比如主創陣容、題材類型等；内涵主要研究内容的戲劇理論和視聽語言，圍繞制作内容的支撐要素，我們用傳統的機器學習方式對内容進行了解，再基于戲劇理論和視聽語言構造内容的衡量要素。
2）使用者側：分析使用者的觀看行為。使用者行為來自于使用者的心理偏好、心理情緒。使用者心理偏好、心理情緒來自于生理構造，基于心理學的五大人格理論和使用者的觀看行為，構模組化型建立左邊和右邊的連接配接，進而知道創造什麼樣的内容，使用者會有什麼樣的感受。
三、貫穿全生命周期的文娛大腦生産力
基于内容認知架構，我們在内容生命周期的每個階段都做了具體工作：開播前提供内容評估、藝人挖掘和内容情緒挖掘等能力；在早期為内容評估提供有效的資料支撐；在制作階段提供現場解決方案，比之前更靈活的回報機制；同樣在播出後也提供資料支援，實作更好的宣發。
1、IP/劇本分析
上圖是《長安十二時辰》的分析示例，我們把已有的劇本作為樣本，讓機器去學習，識别出劇本的所有角色，把角色直接互動的對白、行為識别出來，再進行社團的劃分。《長安》劇本最終劃分出來幾個群體：反恐防暴小分隊以張小敬為中心，唐朝核心管理團隊以皇上為中心。通過這種方式快速定位整個劇本的人物和人物關系的展開。
2、使用者情緒識别與成片情緒挖掘
圍繞角色關系，将整個劇本的角色情緒也識别出來，構造成如上的曲線。基于對海量劇本的分析曲線，抽取出各個名額（出鏡率、戲份、情緒值等）并形成benchmark，對于之後的每一個劇本進行衡量，相當于對劇本進行一個“體檢”。
同樣是“體檢”的方法，對于《藥神》和《長安十二時辰》，我們做了使用者情緒的識别、體檢的掃描，參考零線的位置。我們發現《藥神》幾乎都是正向和負向級的，直到最後出現一個正向區間，基本上後期都是以眼淚為主。而《長安十二時辰》的情緒狀态比較穩定。對照情緒高低點的具體情節，我們發現，曲線表達的情緒和具體的故事情節是非常相符的。
3、情緒強度預測與網絡收視率
然後我們拿更多的方式去驗證它的合理性，上圖抽取《長安十二時辰》的劇集，每集有兩條曲線，藍線是剛才預測的情緒曲線，黃線是播放指數（表示每一秒鐘有多少使用者在看），通過兩條曲線對比，我們可以發現，兩條曲線的相關性比較高的将近60%，情緒的高峰、低谷和使用者的觀看行為狀态是吻合的，由此我們就提供了一種能力，基于這種能力對劇本或影片做情緒掃描，實作對影片熱度的未播先知，再對比benchmark，幫助制作者更高效的完成制作。
4、使用者情感曲線在技術上是如何實作的？
首先，我們把使用者觀影情緒的表述，映射到認知計算中常用的二維空間表示，也就是Valence 和Arousal。Valence表示情緒正負極性，Arousal表示情感激烈程度；
其次，基于情緒極性跟強度提供一個預測，這個是我們今年産出的論文。近兩年，心理學研究的核心觀點是為什麼使用者會感同身受？這來自于前兩年的一個理論——靜向神經元，是以我們選擇場景、表情、動作以及聲音作為基本的模型的輸入，對模型參數進行學習。
如上所講，内容産業有強延遲滿足的問題，我們通過兩層分析來解決長短期滿足的問題，除使用者情緒分析，我們也做内容角色的情緒識别。通過圖檔表情識别模型，識别不同題材類型的影片，可以獲得不同角色刻畫的人物性格。如2004年的《反貪風暴》，時隔十多年，主創人物形象的臉譜還是正向的。上圖顯示的負面角色情緒以開心、害怕為主，正面形象以悲傷、生氣為主，與負面反派的開心正好相對，正面的人一直很沮喪，是一個有些壓抑角色形象。
同樣，我們分析角色的每秒情緒，形成角色的正負情緒曲線，部分影片的分析結果曲線如上圖，不同題材類型的節目會有不同的情緒密度。是以，你想放松的時候，要看的不一定是喜劇，喜劇其實不一定會放松，因為角色的正負向情緒不停交替，由于延遲滿足，大腦負荷非常大，需要做長短記憶，反而很多愛情片對大腦的占用相對低。
角色情緒檢測是一個分類問題，是以利用人臉landmark對初始圖像做識别，生成densemap作為附加通道，和原始圖檔RGB三通道拼接合并後作為模型輸入，這樣可以使densemap對應的關鍵區域權重更大，更容易讓模型捕捉關鍵區域特征；合成的輸入送入到Reduced Xception 網絡進行特征提取；在loss方面，我們引入了基于SVM的marge loss，提升各情緒類别的類間差距，提升情緒識别的效果，具體如上圖。
基于前面對内容的各種了解産生的各種緯度的内容的量化緯度，我們建構了預測模型，可以提前預測出節目的流量走勢，如内容認知架構中所講的，首先對内容進行量化，然後對内容相應的量化緯度進行提前的預測，為業務決策提供輔助支撐。
最後，分享我對未來趨勢的一些見解。在強人工智能尚遙遠的情形下，如何結合機器AI和人工經驗将是個永恒主題。一是結合符号學派智能和連結學派智能，建設和完善決策引擎，包括結合人工邏輯規則和可學習資料AI，不确定性分析架構和經久不衰的貝葉斯因果決策，以及神經元化的混合智能計算架構。二是量化的心理學研究也越來越重要，如何結合大資料應用價值非常大。這也是阿裡文娛大腦探索的方向。
從優酷窄寬高清革新布局
到大麥物聯網的實踐之路
從文娛内容認知的AI大腦
到互動式的6DoF視訊技術
5G時代來臨
如何用新技術提升使用者體驗？
《5G+AI 阿裡文娛技術實踐》正式上線！
點選
立刻下載下傳原文釋出時間為：2019-11-14
作者： 牧己
本文來自雲栖社群合作夥伴“
阿裡技術”，了解相關資訊可以關注“
”。