阿裡視覺AI訓練營-day01

視覺生産技術

一.定義和分類：

1.1.定義：通過一個/一系列視覺過程，産出新的視覺表達。

産出：人或機器能夠感覺的圖像視訊，而不是标簽或特征；
要求：新的，和輸入不一樣的           

1.2.分類：

1.3.通用基礎架構

1.4.五個關鍵次元

• 滿足視覺/美學表現
• 合乎語義/内容邏輯
• 保證結果的豐富性
• 提供使用者預期的抓手【可控】
• 帶來使用者/商業價值【可用】

  

二.精細了解

2.1.分割摳圖

• 識别：知道是什麼？

  

• 檢測：識别 + 知道在哪兒

  

• 分割：識别 + 檢測 + 知道每一個像素是什麼

  

2.2.分割摳圖---難點

• 複雜背景
• 發絲精扣
• 透明材質
• 遮擋
• 邊緣反色
• 多尺度/目标

資料嚴重不足，标注成本高

2.3.分割摳圖--解題思路

1. 複雜問題拆解：粗mask設計 + 精準matting
2. 豐富資料樣本：設計圖像mask統一模型

2.4.分割摳圖--模型架構

2.5.分割摳圖--人像摳圖

2.6.分割摳圖--物體摳圖拓展

2.7.分割摳圖——場景摳圖

三.視覺生成

3.1視覺生成--架構流程

3.2.視覺生成--電商設計

• 照圖生圖

  

• 個性化設計

  

3.3.視覺生成--鹿班場景智能美工

• IN：營銷場景+原始素材
• OUT：營銷圖檔
• 調用方式：API

  

##### 3.4.視覺生成--AlibabaWood

一鍵生成短視訊：

AlibabaWood

3.5.視覺生成--架構流程

四.視覺編輯--移花接木

4.1.視訊植入

• 目前大部分廣告都是與内容無關的，對使用者不太友好，視訊植入手段可将廣告植入到視訊中，提升使用者體驗

  

4.2.視覺編輯——植入位檢測與定位

4.3.視覺編輯——動态檢測分割

• 單獨分割
• 遮擋關系等

  

##### 4.4.視覺編輯——視訊内容擦除

##### 4.5.視覺編輯——文字擦除

##### 4.6.視覺編輯——圖像尺寸變化

## 五.視覺增強——修舊如新

##### 5.1.視覺增強——視訊增強

5.2.視覺增強——人臉修複增強

5.3.視覺增強——風格遷移

5.4.視覺增強——顔色拓展

六.智能開放平台