視覺AI技術應用探索學習筆記

定義

通過一個/一系列視覺過程，産生新的視覺表達

分類

• 生成：從0到1
• 擴充：從1到N
• 摘要：從N到1(把主要的資訊濃縮起來)
• 升維：從An到An+1
• 增強/變換:從A到B
• 插入/合成: A+B = C
• 擦除: A-B=C

基礎通用架構

五個關鍵次元

視覺生産要滿足5個規範要求才是一個好的視覺

1. 滿足視覺,美學表現符合人們的審美
2. 合乎語義,内容邏輯
3. 保證結果的豐富性
4. 提供使用者預期的抓手，讓使用者可以添加一些控制因素
5. 要具有商業價值

精細了解-分割摳圖

1. 識别：知道是什麼
2. 檢測：識别+知道在哪兒（缺陷檢測，多目标檢測）
3. 分割：識别+檢測+知道每個像素是什麼(全景分割,病竈分割)（視覺分割時生産的必要前置步驟）

分割摳圖難點

• 複雜背景
• 遮擋
• 發絲精摳
• 邊緣反色
• 多尺度/目标
• 資料不足

分割思路

思路

1. 複雜問題拆解:mask估計+精準matting
2. 豐富資料樣本:設計圖像mask同一模型

類型

• 語義分割(Semantic Segmentation):分析出事什麼東西，比如是個人
• 執行個體分割(Instance Segmentation):分析出這個人是誰
• 圖像摳圖技術(Image Matting):處理圖像

模型架構

從無到有

鹿班

功能：平面圖像設計生成

架構流程

AlibaabWood

功能：短視訊設計生成

視訊編輯-移花接木

應用方面

• 視訊植入
• 動态監測分割
• 視訊内容擦除
  • 文字擦除
  • Logo擦除
• 畫幅變化
• 圖像尺寸變化

視覺增強-修舊如新

核心邏輯

• 人臉修複增強
• 渲染圖超分
• 視訊超分
• 視訊插幀
• HDR色彩擴充
• 風格遷移
• 顔色擴充

視覺制造-由虛入實

• 包裝幾何生成
• 服裝幾何生成
• 視覺遷移及融合
• 多樣性拓展
• 2D3D融合

視覺智能開放平台

集合上面的一些視覺功能以及其他的功能，網址vision.aliyun.com