天天看點

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

  何為視覺生産?

  在介紹視覺生産之前我們需要給它進行定義,到底什麼是視覺生産。簡單來說視覺生産就是通過一個/一系列視覺過程,産出新的視覺表達。這裡的産出是指人或機器能夠感覺的圖像視訊,而不是标簽或者特征并且必須是新的視覺表達,和輸入的不一樣。在過去,這個過程大多數是由人工來實作,但是現在我們希望通過AI技術,來産生一系列新的圖像,本篇文章主要介紹的也是這一過程。

  總體來說視覺生産是有分類的,主要分為以下幾個分類:生成、拓展、摘要以及升維,生成就是從零到一從無到有的過程,拓展是指1到N的過程,摘要則是和拓展相反,是N到1的過程,将内容濃縮起來,把最主要的資訊找出來。而升維就比較特殊,打個比方圖像是2d的形式,但是如果加了時間軸就變成了動态的了,就變成了二維+t,這樣就是從二維升到三維,這一過程稱之為升維。除此以外對圖檔的增、删、改、查的過程也屬于視覺生産範疇。這些視覺生産相關的内容其實我們也都有在做,也上線了一些産品,例如鹿班、alibabawood、畫蝶,以及我們近期上線的視覺智能開放平台,這些産品都是聚焦在視覺生産上面的,後面也會跟大家詳細介紹。

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖1

  另外視覺生産它也有一個基本的通用架構,具體内容可看圖2,這裡面要着重介紹的是視覺生産引擎部分,因為它是整個架構裡面最為核心的部分。視覺生成引擎一般分成兩大類,一種是生産引擎,基于相關模型去真正的生成一些内容,類似從無到有的一個過程。當然了,還有一種是搜尋引擎,解決的思路就是我生産很困難,那麼我去找到或者搜尋到一個和我要求一緻或者類似的素材然後在對他進行一定的改變,進而得到一個新的素材。對于産出的素材我們也會遵循一定的規範,一般會從可看、合理、多樣、可控以及可用這幾個次元去判斷,其中是否可用是從能否為産品或者平台帶來使用者以及它的商業價值的角度進行判斷。通過這5個次元能保證我們的視覺生産它可以有一個比較好的結果,或者說比較合理的一個結果。

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖2

  想要生産出一份優質的素材,首先你需要去精細的了解它,因為唯有了解才能生成。了解的階段大緻分為識别、檢測以及分割,最終的目的是知道每一個像素是什麼。做分割,事實上這也是學術界和工業界研究很久的任務,但事實上要想把它做好還是非常不容易的。因為分割的話,它會有複雜的背景、各種各樣的遮擋關系以及某些特定場景下特别高的要求。是以在圖檔分割上我們進行了深入的研究并制定了相關的模型架構如圖3所示,第一個步就是進行一個mask粗分割,然後我們對這些資料品質非常高标注效果非常好的進行一個精分割的網絡,再将他們結合起來,這樣做的好處是他能夠像粗分割那樣擷取資料,并且結合精确的、細膩的高品質的資料得到一個結果,我們也将這個模型發表到CVPR2020上面,大家有興趣可以去看看。

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖3

  視覺生成技術的應用

  那介紹完視覺生成技術,接下來我們給大家介紹3個視覺生成技術的應用案例。像文章開頭時候說的

鹿班(https://luban.aliyun.com)

就是我們早些時候針對平面圖像做的一個設計,也算是整個業界中第一個大規模落地的線上AI服務。除了鹿班類的平面圖像生産外,針對視訊我們同樣制作了一款工具,名字叫做

AlibabaWOOD(https://alibabawood.aliyun.com)

,它就專注于短視訊的生成,目前也是一個雲上的公共産品。詳細的平台介紹可以點選産品官網連結進行檢視。

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖4

  視訊既然可以通過視覺生産去制作,我們也在思考通過視覺生産能否對現有的視訊進行處理呢?答案是可以的。

  我這裡舉個例子,如圖5紅線框的位置它本來沒有東西,但是為了達到廣告投放效果又不影響觀看者的觀看體驗,我們通過視覺生産的方式在視訊中插入了一個廣告,進而實廣告和内容融合在一起。

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖5

  前面說了這麼多視覺生産技術,其實我們已經将這些技術形成的算法沉澱在了統一的平台上。

阿裡雲視覺智能開放平台

(vision.aliyun.com)截止現在,這個平台已經上線了100+的AI算法,這些算命法主要是通過API的方式實作調用。平台目前處于公測期,所有的AI算法都是免費開放的,也歡迎廣大開發者前來調用,建立更多有價值的産品和解決方案!

阿裡雲達摩院資深算法專家淺談:視覺生産技術探索及應用

圖6

  以上内容隻是星瞳此次分享的一部分,由于篇幅原因,其他内容就不在這裡展示了,感興趣的同學可以點選下方的視訊連結進行觀看。如果在觀看期間有視覺相關的疑問,都可通過釘釘搜尋23109592進群和我們溝通。

直播回看連結:

https://edu.csdn.net/course/play/28249/388355

繼續閱讀