天天看點

AI視覺訓練營——第一天學習記錄

一、視覺生産

1、定義

通過一個/一系列視覺過程,産出新的視覺表達

· 視覺生産,把抽象的内容通過一系列算法轉變成具象的内容,如視訊,圖檔等。

2、分類

視覺生産分為 “生成 0->1”、“拓展 1->N”、“摘要 N->1”、“升維 An->An+1” 四個過程。另外還包括 “增強變換 A->B”,”插入合成 A+B->C“,“擦除 A-B->C”。

3、通用基礎架構

Request (請求):

輸入: 參數,素材,草案,成品,案例

Dispatch (分發):

生産類型:調用生成,素材合成,照圖生圖,視訊摘要,編輯變換,視覺拓展

Service (服務):

視覺生産引擎:搜尋引擎( 素材,案例 )<=>生成引擎( 模型,知識 )

Response (響應):

輸出:圖像,視訊,案例

二、分割摳圖

生産必要的前置步驟

識别:辨認内容

檢測:确定圖中識别對象内容

分割:精确到像素,對圖檔内的全部内容做區分

1、分割思路

1、複雜問題拆解:粗mask+精準matting

2、豐富資料樣本:設計圖象mask統一模型

運用 Semantic Segmentation 技術給圖檔添加蒙版

Instance Segmentation 技術給蒙版劃分通道,這兩項合稱為Mask

Image Matting 将粗分割模型與精分割網絡結合,精确辨認圖像

2、分割模型

AI視覺訓練營——第一天學習記錄

三、視覺生成

通過視覺生成,讓智能AI服務于工作。滿足照圖生圖,海報廣告設計,自動剪輯視訊的個性化需求。

1、架構流程

AI視覺訓練營——第一天學習記錄

2、視訊生成-架構

AI視覺訓練營——第一天學習記錄

四、視覺編輯

增:

植入廣告:在視訊中插入廣告且與上下文内容不沖突

分鏡檢測,廣告位檢測,廣告位跟蹤,遮擋檢測,素材比對,光影渲染

删:

字母擦除,台标擦除,廣告擦除,場景文字擦除,人體擦除

AI視覺訓練營——第一天學習記錄

改:

畫幅變化(變化視訊分辨率,變化圖檔尺寸,保留内容)

五、視覺增強

修複畫質,人臉修複,放大小圖,視訊分辨率,視訊補幀,HDR色彩拓展(直覺上增加像素對比度),風格遷移(如帆布效果,風格化),顔色拓展(在顔色合理搭配的情況下生成多樣化的配色方案)

六、視覺制造

核心邏輯

AI視覺訓練營——第一天學習記錄

可以運用在模拟包裝盒打包,生成多樣化服飾等領域

繼續閱讀