作者｜負天
與圖像識别不同，AI 分析了解視訊的技術門檻較高。長期以來，業界在視訊 AI 技術的研究上鮮有重大突破。以 CVPR 會議難度最高的比賽之一 DAVIS（Densely Annotated Video Segmentation）為例，該比賽需要參賽團隊精準處理複雜視訊中物體快速運動、外觀變化、遮擋等資訊，過去幾年，全球頂級科技在該比賽中的成績從未突破 80 分，而達摩院的模型最終在 test-challenge 上取得了 84.1 的成績。
阿裡達摩院：像素級視訊分割
阿裡達摩院提供了一種全新的空間限制方法，打破了傳統 STM 方法缺乏時序性的瓶頸，可以讓系統基于視訊前一幀的畫面預測目标物體下一幀的位置；此外，阿裡還引入了語義分割中的精細化分割微調子產品，大幅提高了分割的精細程度。最終，精準識别動态目标的輪廓邊界，并且與背景進行分離，實作像素級目标分割。
基本架構
達摩院的算法基于 2019 年 CVPR 的 STM 做了進一步改進。STM 的主要思想在于，對于曆史幀，每一幀都編碼為 key-value 形式的 feature。預測目前幀的時候，以目前幀的 key 去和曆史幀的 key 做比對。比對的方式是 non-local 的。這種 non-local 的比對，可以看做将目前 key，每個坐标上的 C 維特征，和曆史每一幀在這個坐标上的 C 維特征做比對。比對得到的結果，作為一個 soft 的 index，去讀取曆史 value 的資訊。讀取的特征和目前幀的 value 拼接起來，用于後續的預測。
三大技術創新
1. 空間限制
STM 的特征比對方式，提供了一種空間上的長依賴， 類似于 Transformer 中，通過 self-attention 來做序列關聯。這種機制，能夠很好地處理物體運動、外觀變化、遮擋等。但也有一個問題，就是缺乏時序性，缺少短時依賴。當某一幀突然出現和目标相似的物體時，容易産生誤召回。在視訊場景中，很多情況下，目前幀臨近的幾幀，對目前幀的影響要大于更早的幀。基于這一點，達摩院提出依靠前一幀結果，計算 attention 來限制目前幀目标預測的位置，相當于對短期依賴的模組化。
具體的方法如下圖所示：
1. 目前幀的特征和前一幀的預測 mask 在 channel 次元上做 concat，得到 HxWx (c+1) 的特征；
2. 通過卷積将特征壓縮為 HxW；
3. 用 sigmoid 函數将 HxW 的特征，壓縮範圍，作為空間 attention；
4. 把 attention 乘到原特征上，作為空間限制。
下圖為空間 attention 的可視化結果，可以看到大緻對應了前景的位置。
2. 增強 decoder
達摩院引入了語義分割中的感受野增強技術 ASPP 和精細化分割的微調（refinement）子產品。ASPP 作用于 memory 讀取後的特征，用于融合不同感受野的資訊，提升對不同尺度物體的處理能力。
3. 訓練政策
達摩院提出了一個簡單但是有效的訓練政策，減少了訓練階段和測試階段存在的差異，提升了最終效果。
原始 STM 訓練時，會随機從視訊中采樣 3 幀。這三幀之間的跳幀間隔，随着訓練逐漸增大，目的是增強模型魯棒性。但達摩院發現，這樣會導緻訓練時和測試時不一緻，因為測試時，是逐幀處理的。為此，在訓練的最後階段，達摩院将跳幀間隔重新減小，以保證和測試時一緻。
其他
backbone: 達摩院使用了 ResNeST 這個比較新的 backbone，它可以無痛替換掉原 STM 的 resnet。在結果上有比較明顯提升。
測試政策: 達摩院使用了多尺度測試和 model ensemble。不同尺度和不同 model 的結果，在最終預測的 map 上，做了簡單的等權重平均。
顯存優化: 達摩院做了一些顯存優化方面的工作，使得 STM 在多目标模式下，可以支援大尺度的訓練、測試，以及支援較大的 memory 容量。
資料: 訓練資料上，達摩院使用了 DAVIS、Youtube-VOS，以及 STM 原文用到的靜态圖像資料庫。沒有其他資料。
結果
達摩院的模型，最終在 test-challenge 上取得了 84.1 的成績。
在 test-dev 上的消融實驗。達摩院複現的 STM 達到了和原文一緻的結果。在各種 trick 的加持下， 得到了 11 個點的提升。
随着網際網路技術、5G 技術等的發展，短視訊、視訊會議、直播的場景越來越多，視訊分割技術也将成為不可或缺的一環。比如，在視訊會議中，視訊分割可以精确區分前背景，進而對背景進行虛化或替換；在直播中，使用者隻需要站在綠幕前，算法就實時替換背景，實作一秒鐘換新直播間；在視訊編輯領域，可以輔助進行後期制作。
參考
1. Oh SW, Lee JY, Xu N, Kim SJ. Video object segmentation using space-time memory networks. InProceedings of the IEEE International Conference on Computer Vision 2019
2. Wang X, Girshick R, Gupta A, He K. Non-local neural networks. InProceedings of the IEEE conference on computer vision and pattern recognition 2018
“新内容 新互動” 全球視訊雲創新挑戰賽算法挑戰賽道
本屆全球視訊雲創新挑戰賽是由阿裡雲聯手英特爾主辦，與優酷戰略技術合作，面向企業以及個人開發者的音視訊領域的挑戰賽。算法挑戰賽道聚焦視訊人像分割領域，視訊分割将傳統圖像分割問題延伸到視訊領域，可服務于視訊了解處理和編輯等任務。
算法賽道描述
本次大賽提供一個大規模高精度視訊人像分割資料集，供參賽選手訓練模型。不同于傳統的二值分割目标（即人像區域标注為 1，其他區域标注為 0），本競賽重點關注分割各個不同的人象執行個體，目标是從視訊中精确、穩定分割出顯著的（單個或多個）人體執行個體，以及其相應附屬物、手持物。
本次比賽分為初賽資料集和複賽資料集。複賽資料集等初賽結束後公布，複賽中也可以使用初賽資料集。
初賽環節提供訓練集供選手下載下傳，訓練資料集共 1650 段視訊。訓練集中每個樣本由 RGB 圖像序列和掩碼圖像序列組成，RGB 圖像序列為原始視訊圖像序列，格式為 jpg 檔案；掩碼圖像為人體分割的真值 (ground-truth)，格式為 png 檔案，掩碼圖像中不同的像素值表示不同的人體執行個體，0 為背景區域，非 0 為前景區域（例如 1 為人像 1，2 為人像 2）。RGB 和 png 檔案是一一對應關系。資料集每個視訊的長度為 80 幀～150 幀，每個視訊的分辨率不完全相同。預賽的測試資料為 48 段視訊。測試集隻提供 RGB 圖像序列。如出現多個人像執行個體，每個人像可以任意順序标注，評測時将被獨立計算。
本次比賽允許參數選手使用其他公開資料集和公開模型，但參賽選手的模型必須滿足能在限定時間内複現的要求，複現精度小于規定誤差。
評估标準
對于算法恢複的視訊結果，本次比賽采用 Mean J And F 做為評價名額。J 為描述分割人體區域精度的 Jaccard Index，F 為描述分割人體的邊界精确度。具體請參照參考文獻 1。每個視訊允許選手最多輸出 8 個人物分割結果，選手分割結果與真值先進行 IOU 比對，找到對應的人物後，根據該結果進行評分。多餘的分割結果，沒有懲罰。如果超過 8 個區域，整個視訊結果無效。
獎項設定
冠軍：1 支隊伍，獎金 9 萬人民币，頒發獲獎證書
亞軍：2 支隊伍，獎金 3 萬人民币，頒發獲獎證書
季軍：3 支隊伍，獎金 1 萬人民币，頒發獲獎證書
Cooper Lake 最佳實踐：3 支隊伍，獎金 2 萬人民币，頒發獲獎證書
此外，複賽稽核通過的排名前 12 隊伍，可進入阿裡雲校招綠色通道。
視訊雲大賽正在火熱報名中
掃碼或點選下方連結，一起驅動下一代浪潮！
https://tianchi.aliyun.com/competition/entrance/531873/introduction