阿裡雲視覺AI 5天實踐訓練營

1.視覺生産技術分類

生成：從無到有。

拓展：已經存在，拓展到更多。

摘要：濃縮在一起，提取出重要的部分。

升緯：比如圖像為2D，加上時間軸，就是2D加t。也 可以是2D變3D。

增強/變換：一張圖通過增強或者變換得到另一張圖。

插入/合成：兩張圖合成或者一張圖插入一些内容。

擦除：就是去除一些内容。

2.視覺生産—通用基礎架構

截屏2020-09-24 上午11.25.47.png

3.五個關鍵緯度

可看：滿足美學表現。

合理：符合邏輯和語義。

多樣：結果豐富多樣。

可控：使用者提供參數可控結果。

可用：可以實際應用。

4.分割

想要進行視覺生産最基礎的就是分割。分割分為三步，第一步是識别需要知道這張圖是什麼？第二步，檢測需要知道問題和處理的地方在哪？第三步就是分割，知道每個像素都是些什麼東西，分割的難點在于資料不足，标注成本高。

分割大概有三種，第一是語義分割知道他是什麼類型的，比如知道一張圖檔裡面這是一個人。第二個是執行個體分割，比如知道那個人是誰？第三個是Matting。對于一些較難的複雜問題，一般進行拆分方法先粗mask估計，然後再精準的maltting。

5.視覺生成

除了分割，還有從無到有即視覺生成，比如有視訊摘要，将視訊中的重要部分選出來。視覺編輯，即可以在視訊中加入植入等，其它的還有動态分割，将視訊中指定的物品配出來、視訊内容擦除，比如擦掉模糊的字幕，logo等。還有畫幅變化、圖像尺寸變化等。

6.視覺增強

視訊增強、人臉修複、視訊插幀、HDR色彩擴充、風格遷移、顔色拓展等。

7.視覺制造

幾何生成，和傳統工業相結合、視覺遷移、多樣性拓展等

以短視訊設計生成平台——為例

架構流程

1、 準備素材（場景選擇、關聯商品、素材準備、參數設定）

2、 視訊算法（可以使用編輯器微調。核心）

3、 渲染合成（将已編排好的視訊進行視訊合成後渲染出成品）

4、 投放上傳平台

視訊摘要

将生成的視訊或原已有的視訊或多個視訊進行關鍵摘要（如15秒摘要，30秒摘要，60秒摘要等）

視訊封面

圖像增強：在内容了解的基礎上對圖檔進行裁剪群組合。

内容分析：通過AI的分析功能來對全視訊進行内容分析和挑選。

品質稽核：将模糊、曝光等低品質圖像進行過濾。

完成以上一系列操作後來抓取生成多幀靜止圖或動圖。随後可以進行各個平台的分發。

視覺編輯

視訊植入

PS:我個人認為這個功能比較有意思

場景：電視劇植入、電影植入、綜藝植入等。

可以将廣告内容與宿體内容本身不太符合的廣告以沒有太多【違和感】的形式植入，使廣告的植入範圍變得更廣，大大提升了廣告的植入效率，并且不會給使用者造成太大的反感。