天天看點

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

移動網際網路時代以來,人工智能(AI)技術不斷發展和完善,不斷展現出巨大的商業潛力,并開始在各行各業落地開花,其中計算機視覺AI技術發展最快應用最廣。阿裡雲為響應國家“加快新型基礎設施建設“的号召,以“無行業不AI“為主題,特此舉辦阿裡雲視覺AI應用創新賽,為行業應用及解決方案落地提供展示創意和想法的舞台。

本次大賽向全行業開發者使用者開放,針對優秀人才、優秀作品提供百萬現金獎池,為創業人才提供包括阿裡巴巴資源對接與扶持、技術教育訓練和上雲指導以及導師幫助等與初創企業相關的綜合服務。同時為協助本次賽事,阿裡雲将會與參賽者共享阿裡内部視覺AI開發的實踐經驗,從技術,資金,資源三方面幫助企業實作場景落地。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

本文将會通過解析AlibabaWood視訊生産工具的算法來介紹視覺AI技術在新零售電商領域中的應用,為參賽人員開發視覺AI應用提供一種可行的思路。

AlibabaWOOD介紹

AlibabaWOOD是阿裡雲為了提升電商營銷視訊制作效率和品質而推出的工具。在電商平台,投放商品視訊展示可以增加資訊傳播途徑提升引流曝光,針對同一商品,是否投放視訊展示對各關鍵名額影響非常大,如下圖所示。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖1 單一商品圖像款對比視訊款

但傳統的批量視訊制作通常依賴于設計師提前制作的固定模闆,且大批量生産的視訊通常千篇一律,缺乏感染力。為了解決這一問題,AlibabaWOOD充分利用目前最先進的AI技術,抛棄了死闆的視訊模闆,而是通過智能分析使用者輸入的音視訊素材以及使用者需求,一鍵生成符合投放場景的營銷短視訊,從分析、設計到最後的編碼輸出用時不超過一分鐘,遠遠超過人類制作視訊的速度。并且,得益于AI技術的應用,AlibabaWOOD可以做到視訊風格和内容千人千面,無論是時尚風、科技風還是土味視訊,AlibabaWOOD都可以從容應對。下圖展示了AlibabaWOOD智能生成視訊的核心流程,下一章節也會對其中的核心AI技術進行解析。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖2 AlibabaWOOD智能視訊生成流程

AlibabaWOOD核心AI技術解析

素材解析能力

• 素材品質評估/了解:

AlibabaWood利用最新的深度學習技術以及線上海量的電商圖像視訊資料,自研了素材品質評估模型和素材内容了解模型,品質評估模型可以快速準确的濾除不适合制作視訊的圖像視訊素材,保證輸出視訊的品質。而内容了解模型能夠為智能編排子產品提供全方位的素材标簽,友善為素材精确比對智能特效,如下圖所示:

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖3 素材品質評估

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖4 素材标簽示例

• 故事線生成:

作為智能編排核心技術,故事線生成模型充分利用素材标簽以及美學和吸引力評分,結合影視行業規範等先驗知識,可以針對不同類型的圖像視訊素材推薦不同的素材排序故事線,如下圖所示。使得生成的視訊運鏡更加合理,并更具吸引力和感染力。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖5 故事線生成示例

• 視訊摘要:

通過學習大量線上營銷視訊摘要模式,AlibabaWood适配不同視訊類别的視訊剪輯手法,能夠對使用者輸入的視訊素材進行鏡頭分割,并根據投放場景選擇最佳視訊片段進行剪輯。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖6 視訊摘要示例

智能特效

• 音畫關聯:

視訊節奏感可以提升觀看視訊的舒适性。通過智能分析音頻節奏點和視訊内容的視覺“節奏點”,然後通過視訊插幀技術實作視訊播放速率的非線性變換,進而實作音視訊節奏點的完美比對,使得視訊中的人物能夠随音樂舞動,極大的提升了視訊内容的吸引力。

• 靜轉動:

為了增強靜态素材主體内容的吸引力,AlibabaWood在自研圖像分割能力的基礎上推出靜轉動等智能特效,這一能力可以自動識别模特展示圖像,然後對模特主體進行摳圖,再對前景和背景内容加入滑動變焦效果,将靜态圖像轉化為動态的視訊内容,使得内容展示更加生動,并凸顯主體資訊。下一代靜轉動技術可以使得運鏡效果更符合透視原理,并讓圖像中模特的肢體真正動起來。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖7 圖像分割示例

• 轉場等特效智能推薦:

AlibabaWood聯合設計師打造了可以根據素材内容自動比對的轉場動畫特效體系。使得生成的視訊動效更加豐富、更加個性化,真正做到千人千面。部分效果展示如下。

阿裡雲視覺AI應用創新賽開啟——技術公開篇之AlibabaWood

圖8 智能轉場特效

阿裡雲視覺AI開發者創意應用賽向社會各界免費開放所有視覺AI技術接口,邀請全社會的企業打造屬于自己的AlibabaWood。開發者可以任意使用達摩院的技術打磨自己的産品,或者将自己的産品在大賽中展出,作為主辦方,阿裡雲将會為優秀的作品對接創業資源和孵化環境,更有總計近百萬的獎金和獎品等你來拿。

體驗位址:

https://vision.aliyun.com/experience

大賽平台:

https://developer.aliyun.com/ai/activity/viapi

繼續閱讀