來源：PCS 2021
演講者：來自 University of Roma Tre 的 K.Lamichhane
内容整理：賈榮立
本文利用顯著圖，基于神經網絡設計并訓練了無參考 LFIQA 模型，在 SMART 資料集上，其性能達到了 SOTA 的水準。
目錄
- 背景
- 顯著圖
- 品質評價整體流程
- 實驗設定
- 結果展示
- 總結
1背景
随着 LFI 技術的發展，光場圖的應用變得日益廣泛。LFI 中包含了更多的資訊，包括光強資訊和光線角度等資訊。但是和傳統圖像相同的是，LFI 在壓縮，傳輸等環節也會産生不同程度的失真，是以，如何評價失真的 LFI 品質，對我們實際應用 LFI 有重要的指導意義。
光場圖記錄了光的強度以及光線方向
本文利用顯著圖，基于神經網絡設計并訓練了無參考 LFIQA 模型，在 SMART 資料集上，其性能達到了 SOTA 的水準。
2顯著圖
顯著圖是通過提取輸入圖像對每個空間配置設定的感覺重要特征而獲得的圖像。它的目标在于将一般圖像轉變為更易分析的形式。
GBVSmap
生成顯著圖的模型如下：
- Itti & Koch
- GBVS
- BMS
- EBMS
- Geometry based model
- Foreground object extraction based model
3品質評價整體流程
品質評價流程如下圖所示：
品質評價的整體流程圖
資料輸入部分，輸入的資料由失真圖像和對應的無失真參考圖像組成；在第一個階段，使用 Itti，GBVS 等模型生成顯著圖，并将其進行整合；在處理階段，使用基于學習的模型将第一階段得到的圖像進行處理并回歸得到最終的預測分數。最後，使用 SROCC，PLCC 等相關名額評估模型的品質。
網絡層結構如圖所示：
網絡層結構
4實驗設定
- 資料集：使用 SMART，共有 16 張參考圖像，包含四種失真類型（HEVC,JPEG,JPEG2K,SSDC），四個等級的失真程度，共 256 張失真圖像。
- 圖檔大小：364×512
- 訓練設定：訓練集和測試集 8:2，梯度下降和 NADAM 優化器，損失函數為 MSE
- 評價名額：SROCC，PLCC
5結果展示
從多個角度分析并進行結果展示，表一展示了歸一化圖像與顯著性圖的 BT 分數的相似性：
表一：歸一化圖像與顯著性圖的 BT 分數的相似性
表二展示了 LFIQA 模型在不同訓練階段的表現，可以看出在 epoch 為 15 時在評價名額上有着較好的表現：
表二：LFIQA 模型在不同訓練階段的表現
表三展示了是否加入顯著圖對于模型性能的影響，可以看出顯著圖确實對模型性能有所提升：
表三：加入顯著圖對于模型性能的影響
表四展示了本文提出的 LFIQA 模型與其他評價方法的性能比較，可以看出本文提出的模型與其他方法和模型相比有着明顯的性能提升：
表四：LFIQA 模型與其他評價方法的性能比較
6總結
本文證明了顯著資訊在 LFI 品質評價過程中的重要性，指出了歸一化圖像和顯著圖的失真程度與主觀品質分數較高的相關性，并提出了結合顯著圖的無參考 LFI 品質評價模型。實驗結果證明，本文提出的 LFIQA 模型在 SMART 資料集上達到了 SOTA 的結果。
附上演講視訊：