一、視覺生産
1、定義
通過一個/一系列視覺過程,産出新的視覺表達
· 視覺生産,把抽象的内容通過一系列算法轉變成具象的内容,如視訊,圖檔等。
2、分類
視覺生産分為 “生成 0->1”、“拓展 1->N”、“摘要 N->1”、“升維 An->An+1” 四個過程。另外還包括 “增強變換 A->B”,”插入合成 A+B->C“,“擦除 A-B->C”。
3、通用基礎架構
Request (請求):
輸入: 參數,素材,草案,成品,案例
Dispatch (分發):
生産類型:調用生成,素材合成,照圖生圖,視訊摘要,編輯變換,視覺拓展
Service (服務):
視覺生産引擎:搜尋引擎( 素材,案例 )<=>生成引擎( 模型,知識 )
Response (響應):
輸出:圖像,視訊,案例
二、分割摳圖
生産必要的前置步驟
識别:辨認内容
檢測:确定圖中識别對象内容
分割:精确到像素,對圖檔内的全部内容做區分
1、分割思路
1、複雜問題拆解:粗mask+精準matting
2、豐富資料樣本:設計圖象mask統一模型
運用 Semantic Segmentation 技術給圖檔添加蒙版
Instance Segmentation 技術給蒙版劃分通道,這兩項合稱為Mask
Image Matting 将粗分割模型與精分割網絡結合,精确辨認圖像
2、分割模型

三、視覺生成
通過視覺生成,讓智能AI服務于工作。滿足照圖生圖,海報廣告設計,自動剪輯視訊的個性化需求。
1、架構流程
2、視訊生成-架構
四、視覺編輯
增:
植入廣告:在視訊中插入廣告且與上下文内容不沖突
分鏡檢測,廣告位檢測,廣告位跟蹤,遮擋檢測,素材比對,光影渲染
删:
字母擦除,台标擦除,廣告擦除,場景文字擦除,人體擦除
改:
畫幅變化(變化視訊分辨率,變化圖檔尺寸,保留内容)
五、視覺增強
修複畫質,人臉修複,放大小圖,視訊分辨率,視訊補幀,HDR色彩拓展(直覺上增加像素對比度),風格遷移(如帆布效果,風格化),顔色拓展(在顔色合理搭配的情況下生成多樣化的配色方案)
六、視覺制造
核心邏輯
可以運用在模拟包裝盒打包,生成多樣化服飾等領域