阿裡雲視覺AI 5天實踐訓練營-day01-視覺生産技術探索和應用簡單介紹

1.視覺生産技術分類

生成：從無到有。

拓展：已經存在，拓展到更多。

摘要：濃縮在一起，提取出重要的部分。

升緯：比如圖像為2D，加上時間軸，就是2D加t。也 可以是2D變3D。

增強/變換：一張圖通過增強或者變換得到另一張圖。

插入/合成：兩張圖合成或者一張圖插入一些内容。

擦除：就是去除一些内容。

2.視覺生産—通用基礎架構

3.五個關鍵緯度

可看：滿足美學表現。

合理：符合邏輯和語義。

多樣：結果豐富多樣。

可控：使用者提供參數可控結果。

可用：可以實際應用。

4.分割

想要進行視覺生産最基礎的就是分割。分割分為三步，第一步是識别需要知道這張圖是什麼？第二步，檢測需要知道問題和處理的地方在哪？第三步就是分割，知道每個像素都是些什麼東西，分割的難點在于資料不足，标注成本高。

分割大概有三種，第一是語義分割知道他是什麼類型的，比如知道一張圖檔裡面這是一個人。第二個是執行個體分割，比如知道那個人是誰？第三個是Matting。對于一些較難的複雜問題，一般進行拆分方法先粗mask估計，然後再精準的maltting。

5.視覺生成

除了分割，還有從無到有即視覺生成，比如有視訊摘要，将視訊中的重要部分選出來。視覺編輯，即可以在視訊中加入植入等，其它的還有動态分割，将視訊中指定的物品配出來、視訊内容擦除，比如擦掉模糊的字幕，logo等。還有畫幅變化、圖像尺寸變化等。

6.視覺增強

視訊增強、人臉修複、視訊插幀、HDR色彩擴充、風格遷移、顔色拓展等。

7.視覺制造

幾何生成，和傳統工業相結合、視覺遷移、多樣性拓展等。