天天看點

基于多尺度卷積神經網絡架構結合語義标簽和surface normals以及深度預測

本文提出的方法可以在沒有在超像素以及低次元的分割的情況下提取圖像細節,直接産生一個像素map。

模型架構

架構主要繼承于論文基于多尺度深度網絡的單幅圖像深度估計。首先我們的模型變得更深了(有了更多的卷積層)。其次,網絡添加了第三個等級,将最終的輸出分辨率提高到原圖的一半(原來是1/4)。最後我們對于前兩個等級的輸出不固定,從一開始就統一訓練三個層級,一起調整參數。

一:層1 . 全局圖像

這一層提取全局特征,空間變化的特性對整個圖像區域。

二:層2 . 預測

在中等分辨率下進行預測,利用損失函數進行sgd優化參數。最後輸出的通道數與所對應的任務有關。

三:層3. 更高的分辨率

任務

深度預測

訓練細節

繼續閱讀