綠幕摳圖是影視制作過程中常見的技術手段,常用于視訊中摳除并替換背景,通過後期加工實作視訊剪輯制作的更多可能性。然而,綠幕摳圖技術制作成本費時費力,無法應用于日常生活。
華為視訊編輯服務近期上線目标分割能力,可通過AI智能摳圖精細化分割視訊中的目标物體,并且不局限于特定的物體類别,在主體明确、背景相對簡單的視訊中進行主體和背景的分割,可以取得不錯的處理效果。
應用場景
目标分割能力多應用于視訊直播、線上教育、論壇會議等場景。比如,在賣貨直播的場景中,可以将直播背景替換成商品詳情頁的輪播畫面,便于使用者及時了解商品;線上上論壇或者視訊會議中,将背景替換成PPT内容或者辦公場景,營造學習辦公的嚴肅氛圍。同樣,目标分割能力也可滿足使用者日常趣味剪輯,使用者可以通過目标分割能力剪輯人像視訊,然後将背景切換各國名景,足不出戶便能實作“周遊世界”。
除了更換視訊背景,目标分割能力還可應用于影視播放,通過目标摳圖,避免彈幕遮擋劇情主體,優化使用者觀看體驗。結合其他技術能力,還可以将分割後的目标物體進行複制和删除,甚至調整目标物體的動作時間,打造更具創意的視訊作品。
實作原理
那麼,目标分割能力是怎麼實作的呢?
首先,使用者需要選擇目标物體,然後再進行AI目标分割。通過給定視訊第一幀圖像需要分割目标物體的對應掩碼,AI模型會自動在後續每一幀的視訊幀中比對這個物體并嘗試分割出來。并且,模型将會儲存中間幀分割效果好的結果掩碼與第一幀的掩碼資訊相結合,在後續視訊幀中進行比對,可以精準勾勒目标物體的邊緣細節,進一步提升目标分割的準确度。
DEMO示範

內建方式
1. 開發準備
詳細準備步驟可參考華為開發者聯盟官網
2. 編輯工程內建
2.1 設定應用的鑒權資訊
可以通過api_key或者Access Token來設定應用鑒權資訊。
通過setAccessToken方法設定Access Token,在應用啟動時初始化設定一次即可,無需多次設定。
MediaApplication.getInstance().setAccessToken("your access token");
通過setApiKey方法設定api_key,在應用啟動時初始化設定一次即可,無需多次設定。
MediaApplication.getInstance().setApiKey("your ApiKey");
2.2設定唯一辨別ID,即License ID。
License ID是進行管控的有效憑證,您要保證設定License ID的唯一性。
MediaApplication.getInstance().setLicenseId("License ID");
2.2.1初始化Editor運作環境
建立編輯工程,需要首先建立Editor對象并初始化其運作環境。當離開編輯工程時,應釋放Editor執行個體。
(1) 建立Editor對象
HuaweiVideoEditor editor = HuaweiVideoEditor.create(getApplicationContext());
(2) 指定預覽視窗的布局位置
預覽視窗負責視訊圖像畫面的渲染,由視訊編輯原子能力SDK内部建立SurfaceView來實作。在建立視窗之前,需要在您的App中指定預覽視窗的布局位置。
<LinearLayout
android:id="@+id/video_content_layout"
android:layout_width="0dp"
android:layout_height="0dp"
android:background="@color/video_edit_main_bg_color"
android:gravity="center"
android:orientation="vertical" />
// 指定預覽視窗
LinearLayout mSdkPreviewContainer = view.findViewById(R.id.video_content_layout);
// 設定預覽視窗承載的布局
editor.setDisplay(mSdkPreviewContainer);
(3) 初始化運作環境,如果License鑒權失敗,會抛出LicenseException。
當Editor對象建立之後,此時還沒有占用實際的系統資源,需要手動選擇其環境初始化的時機,此時視訊編輯原子能力SDK内部會建立必須的線程和定時器等。
try {
editor.initEnvironment();
} catch (LicenseException error) {
SmartLog.e(TAG, "initEnvironment failed: " + error.getErrorMsg());
finish();
return;
}
3. “目标分割”能力內建
// 初始化目标分割AI引擎
videoAsset.initSegmentationEngine(new HVEAIInitialCallback() {
@Override
public void onProgress(int progress) {
// 初始化進度
}
@Override
public void onSuccess() {
// 初始化成功
}
@Override
public void onError(int errorCode, String errorMessage) {
// 初始化失敗
}
});
// 初始化成功後,選擇需要分割的目标進行分割,傳回選擇分割目标的的處理結果
// bitmap包含需要分割的目标的視訊幀圖檔;timeStamp為視訊幀圖檔在時間線上的時間戳;points為基于視訊幀圖檔的坐标點集合,左上角為原點坐标,坐标點應位于需要分割的目标内,且個數建議大于等于2,需根據坐标點軌迹來确定選擇的目标
int result = videoAsset.selectSegmentationObject(bitmap, timeStamp, points);
// 目标分割的處理結果成功後,添加目标分割AI特效
videoAsset.addSegmentationEffect(new HVEAIProcessCallback() {
@Override
public void onProgress(int progress) {
// 目标分割AI特效處理進度
}
@Override
public void onSuccess() {
// 目标分割AI特效處理成功
}
@Override
public void onError(int errorCode, String errorMessage) {
// 目标分割AI特效處理失敗
}
});
// 中斷目标分割AI特效處理
videoAsset.interruptSegmentation();
// 移除目标分割AI特效
videoAsset.removeSegmentationEffect();
// 釋放目标分割AI引擎
videoAsset.releaseSegmentationEngine();