昨日，虎牙LiveTech釋出會在廣州舉行。釋出會上，虎牙釋出了國内第一個和直播有關的技術平台，公開了其在AI方面的技術能力內建的最新成果—AI數字人。除了智能彈幕這樣的AI技術，虎牙通過釋出會，無疑展示了自身用技術驅動直播行業發展更新的意圖和能力。
二十多項AI等能力開放，虎牙開放平台釋出
虎牙技術開放平台是釋出會的首要内容。這是國内首個以直播為核心的開放平台。在開放平台上，開發者可以使用各類API，SDK和其他工具，進而開發出和直播有關的小程式。總體而言，平台内容涵括核心的直播技術、開發工具、資料服務等基礎設施，以及市場推廣、營運活動、應用商店等商業配套服務。
開發者可以使用哪些開放平台上的技術呢？據介紹，開放平台上提供了多項直播相關的前後端、AI、通訊連接配接、程式測試和打包等方面的工具和服務。以AI方面的能力為例，虎牙開放平台提供的AI技術能力包括但不限于：圖像識别、動作捕捉、人臉識别、視訊了解、語音識别、語音合成等。這些技術都以實際的應用接口形式呈現。目前這些技術已經在虎牙的直播上使用，如使用圖像識别相關的技術，讓主播的身體輪廓更好地融合在直播畫面中。以及使用圖像生成方面的技術，将特定人物的臉和主播臉結合，并實作實時的表情變換等。而開發者現在也可以利用這些技術，不需要關注底層實作和直播技術上的問題，而去開發新的應用。
當開發者有了這些技術後，隻要根據平台的使用流程，就可以完成相關應用的建構、測試、打包和釋出流程。最終，釋出的應用會在平台提供的小程式商店中提供給主播和使用者購買，進而實作開發者的盈利。在整個過程中，開發者關注使用者的需求和開發，直播技術和其他基礎服務則由平台提供。
為了讓開放平台的能力和開發者結合，虎牙提出了以小程式為載體的方式。具體而言，在擁有了這些技術能力之後，開發者就可以在虎牙的平台上進行小程式的開發，并讓這些小程式給主播的直播内容和形式帶來新的創新。例如，主播可使用陪伴寵物這一小程式，讓虛拟的角色出現在直播中。這一虛拟形象可以捕捉主播的語音和動作，并作出相應的回報（如跳舞）。
此外，小程式還可以和現實中的實體硬體，甚至是IoT裝置打通，實作觀衆用小程式發指令，對主播的直播進行控制。比如說，一些農牧産品生産商可以打開直播，讓觀衆看到飼養家禽的過程。感興趣的觀衆可以發出指令，讓養雞場機器喂雞。此外，還有觀衆和主播互動的遊戲等。
直播養雞時，觀衆可以和被直播的養雞場互動，甚至在直播間操作喂食
這一案例正是釋出會上虎牙開放平台通過小程式接入不同領域的主播和開發者，讓外部開發技術和平台上的衆多主播需求結合，進而實作新的應用創新。
小程式開發後，開發者需要考慮在不同環境和終端下的運作問題。為了讓開發者能夠實作一次開發後的跨終端運作，除了技術能力外，虎牙提供了相關，能夠實作多個運作環境下的「一鍵測試」以及最終開發成果的「一鍵打包」。 目前，虎牙已将開放平台提供給開發者，在未來三年，虎牙宣布将會投入十億人民币的資源，啟動星火計劃，用于培育生态。
AI數字人亮眼，實時模拟真人表情動作
在開放平台之後，虎牙釋出了另一項重要成果，名為AI數字人。這是一個通過模拟真人主播的方式，實作主播在不同時空，背景下的新直播創意。具體而言，虛拟數字主播是模拟了真人主播的形象，但是本身是通過AI建構的。建構AI數字人的過程分為模組化、驅動和渲染三個步驟。
首先，機器需要多模态的資料輸入，通過輸入真人的面部表情，聲音等資訊，由模型建構起一個帶有标準骨骼和肌肉的虛拟形象來。接着，使用相關算法學習這些特征，并在其中賦予AI數字人微表情。最後在渲染階段，讓AI數字人在實時光解算和實時AR渲染的基礎上，最終實作動态的形象建構。
在技術層面上，AI數字人使用了多種技術，包括3D重建、人臉結構化、動作遷移和實時渲染、AR融合等。在模組化方面，虎牙掃描了2000萬面超高精度拓撲的模型，通過肌肉和骨骼綁定後，可驅動的表情面數超過4萬個。在肢體上骨骼動作支援超過70個自由度，可還原日常動作及跳舞等才藝。
在釋出會示範上，AI數字人“晚玉”可以根據需要實時更換服裝，在渲染速度和品質上都達到了一定的效果。此外，AI數字人還應用了語音合成和音畫比對方面的技術，使得AI數字人可以合成真人聲音，聲音也能夠比對口型，表情和動作。 推出AI數字人，無疑是虎牙在直播内容上的新嘗試和探索。
據介紹，AI數字人拓展了真人主播的活動範圍和完成的工作。例如，真人主播無法完成的任務和工作（如極限運動等）可以通過AI數字人的模拟完成。而AI數字人可以發展出和真人不一樣的外貌，性格，讓人們看到真人主播不為人知的另一面。這充實作有的直播内容，使得直播娛樂變得更有趣。
除了真人形象外，AI數字人的技術還可以遷移到建構其他的角色中去。例如，虎牙和騰訊合作，建構出虛拟的人物形象。除此之外，虎牙宣布，将會開放這一技術能力，形成HERO平台，未來讓衆多主播都可以定制自己的虛拟形象，也讓更多的開發者和企業加入到相關的工作中。
而人臉識别和圖像生成方面的AI技術，也在虎牙的其他一些應用中得到呈現。例如，在釋出會展台上，虎牙展示了其在人臉識别和動态圖像生成方面的研究成果。觀衆可坐在攝像頭前，讓機器捕捉其面部資訊，然後将其臉部特征和其他名人融合，最終生成帶有新風格的面孔。生成的面部是實時動态的，還可以根據使用者表情的變化而發生變化。這些例子，都說明了虎牙在計算機視覺方面的研究能力。
直播新業态，虎牙積極探索
在釋出會上，虎牙CEO董榮傑表達了他對未來直播行業的看法和了解。
他認為，直播目前仍仍處于發展階段，當5G時代到來，沒有流量和帶寬限制的人們會更加需要直播，是以，行業仍有很大的發展空間。
在另一方面，直播領域，特别是主播的需求依然得不到滿足，通過技術驅動直播内容的革新，無疑是虎牙在AI時代的到來所做的努力。而最終，虎牙希望能夠将線下内容更好地擴充到線上直播中，這就需要開發者能夠加入其中，一起打造一個繁榮的直播生态體系。