ISP—3DNR圖像去噪
目錄
ISP—3DNR圖像去噪
空域接口說明
時域接口說明
色度資訊去噪
調試
以海思3516EV200為例去調試3DNR
3DNR參數接口
3DNR 的亮度去噪（ NRy ）由四級串聯去噪功能組成，按如下分為 4 級，假設編号為0 ， 1 ， 2 ， 3 ，不同級之 間 的同樣編号、類型濾波器效果由于 實 現差 異 、串聯效應 等 ， 導緻 不同級結果 并 不 完全 一樣。 第 0 級、第 3 級為帶時域 輔 助的空域濾波器，第 1 級、第 2 級 則 為時空域處理。色彩濾波器 獨立 于亮度濾波器。如下圖所示：
說明： nX**,mX** 參數裡面的 X 的均指級數，代指第 n 級。如 n0sf2 特指 nXsf2 系列參數裡的第 0 級對應參數， m1id0 特指 mXid0 系列裡第一級對應參數。 第 3 級空域濾波器參數 [nXsf5] 、 [dzsf5] 、 [nXsf6] 、 [nXsfr6] 、 [nXsbr6] 、 [nXsfn] 、 [nXsth] 、 [nXsthd] 和 [sfr] 分别有兩套接口（如圖 1-2 中的 3a 和 3b 區域），作用于運動區域（ 3a ）和靜止區 域（ 3b ），實作不同的處理效果。第 3 級使能，需要第 2 級使能并且打開時域參考，否則第 3 級 無實際效果。 空域濾波 包含 0~4 号 基礎 濾波器 即 nXsf0 、 nXsf1 、 nXsf2 、 nXsf3 、 nXsf4 ，也 包含基礎濾波器的組合處理。不同級采用 了 不同類型的空域濾波器，第 0 級和第 1 級采用的濾 波器去噪保邊的能力 較 強， 但易 出現 條狀 噪聲（稱為 SFi 濾波器組）。第 2 級和第 3 級 的濾波器去噪保邊的能力 稍 弱， 但副 作用 較 小（稱為 SFk 濾波器組）。
空域接口說明
下圖是低光環境下的0、1、2、3級基本空域濾波器參數配置
[kmode] ： 用于決定第 2 級和第 3 級濾波器的 SFk 濾波器 是否 根據亮度決定不同的去噪強度。
[nXsf5] ： 該接口用于調試 五 号濾波器， 是 一号 至 四号濾波器的混合結果，用于組合不同頻段的降噪或者 細 節增強。 其 中四 個 參數分 别 用于 配 置四組濾波器結果， 第一 個 參數用于 配 置一号濾波器結果，以 此 類推。
[sfs5] ： 該接口用于第 3 級，設定 五 号濾波中四組濾波器的強度，值越大濾波或者增強的效果越強。
[dzsf5]: 該參數用于控制 五 号濾波器結果在圖像中的作用範圍，該值越小，作用的範圍越大，當設定成 999 的時 候 ，相當于關閉 五 号濾波器功能，取值範圍為 [0,999] 。 [nXsf6] ：該接口 配 置 六 号濾波器結果，為 兩 組濾波器的混合結果。該接口 前兩個參數為參 與 混合濾波器号 碼 （可以 從 0~5 号濾波器中選擇）。 最 後一 個 參數 則 為混 合方式，取值範圍 [0, 4] 。該參數取 0 的時 候輸 出 是原始 值， 其他 表示四種不同的 混合方式： [nXsfr6] ：該接口在 sf6 接口的第四 個 參數選擇 4 的時 候 生效。用于該模式限制的四種檢查 機 制，值越大 傾向 選擇 [nXsf6] 的第 二個 結果。取值範圍 均 為 [0,31] 。結果 取 4 種方式中 最靠近 第 二個 結果的。 [nXsbr6] ：該接口用于 六 号濾波器的亮暗 非 對稱調節。該參數隻在 [nXsf6] 第四 個參數選擇 4 的時 候 生效， 兩個 參數用于分 别 控制 [nXsf6] 第一 個 結果和第 二個 結果 混合比例，可以 配 置在亮和暗的 兩個 結果采用不同的混合比例。
[nXsfn] [nXsth/nXsthd] ： nXsfn 表示不同圖像特 征 區域選擇不同濾波器的類型，取值 [0,6] ， 與 [nXsth/nXsthd] 接口 配 合使用， nXsth/nXsthd 則 表示不同區域的特 征 區分門檻值的上下限，取值為 [0,511] ， nXsth 的取值應大于 等 于 nXsthd 。
[sfr] ： 整 個 空域濾波結果控制，取值 [0,31] ，值越大空域作用 程 度越強，當 N 為0 ， 則 空域濾波關閉。
[DeRt]: 該接口的第一 個 參數為 0 表示 非 串行（ 普 通）模式（如 圖 2-1 ）。大于 0的時 候 ，表示串行模式（如 圖 2-2 ）。串行模式僅 适 用于 NRy 第 0 級和 NRc 子產品。
[SelRt]: 用于産生串行模式的疊加 細 節的 0 ， 1 ， 2 号濾波器結果的混合比例，取值範圍為 [0, 16] 。第一 個 參數決定 0 和 1 号濾波器結果的混合比例，第 二個 參數決 定 1 和 2 号濾波器結果的混合比例。該接口取值越大會疊加 更 多的 細 節， 但 同時 噪聲也會相應加大。 在 非 串行模式下， 兩個 值隻能取值 16 。
時域接口說明
每一級都包含了時域資訊用于圖像處理，第 1 級的時域可采用分層處理結構，其中每個時域的接口都有兩套分别對應于兩層，（如果接口有多個參數，接口帶上字尾 0,1 來區分層級，例如 nXtfr0, nXtfr1）。針對 IPC 應用場景一般建議采用 分層處理，将第 1 層設定為背景層，将第 0 層設定為前景層分開處理。
[ref]:該接口表示參考幀開關。一般設定為1。
[tedge]:對可能産生拖尾内容區域的處理，0 表示關閉，不做處理，1 則處理可能出現的拖尾，2 和 3 則處理可能出現的模糊。
[nXstr] ： 時空域濾波處理， 減 小噪聲， 但 可能 引 入一定的 蒙紗 噪聲。值越大去噪噪聲越 好 ， 蒙紗 噪聲出現機率越高，取值 [0,31] 。 [nXsdz] ： 用于 配 合 nXstr 接口對應的空域濾波器的限制，參數取值為 [0,999] ，值越小 nXstr 作用越明 顯 ，取值 999 相當于該級的空域濾波器關閉。 [nXtss] ： 值越大靜止區域越 光滑 ， 但 靜止區域圖像内容可能越模 糊 。取值範圍為[0,15] 。該參數的 兩個 值表示分 别 作用不同區域。 [nXtsi] ： 用于 配 合 nXtss 接口，取值為 0 、 1 ，分 别 表 述 不同處理方式，選擇 0 是純空域的處理方式， 1 是 時空域的處理方式 [nXtfs] ：時域濾波強度，當 前 濾波區域使用時域時， 此 參數表示時域作用強度，值越大強度越大。該接口的取值範圍 是 [0, 15] 。 [nXtfr] ： 拖尾、去噪平 衡 控制參數。 總共 6 種處理方式，每 個 值越小可以控制拖尾越小， 但 去噪能力 減 弱。結果取 6 種方式中去噪效果 最 明 顯 的一種。取值範圍 均 為 [0,31] 。 [nXtfrs]: 第 0 級有效，用于 配 合 [nXtfr] 使用，值越大空域效果越強。 [nXdzm] ： 用于 tdz 接口的選擇模式，取值範圍 [0, 1] 。 [nXtdz] ： 用于保護紋理或者去噪效果加強。取值範圍 [0, 999] 。 [nXtdx]：預設值為2，不建議修改
[mXmath/mXmathd] ：動靜判決門檻值的上下限， 其 值越大，被運動檢測單 元 判定為 “ 靜止 ” 的像 素 越多， 因而 被 實施 時域濾波的像 素 也越多，畫面當 然 也越 安 靜，一般 情況 下，将 TFS 調 最 大，将 mXmath/mXmathd 調到 剛好 抑制雨點現象， 這 時 再适 當調低 TFS 直 到 沒 有雨點；第 1 級采用分 層 應用， 系統 會 先 根據該接 口的第 二個 值劃分出圖像的靜止區域，作為圖像的 背景層 （ 即 絕對靜止區域）。 剩 餘 圖像作為 前景層 ，将會根據第一 個 參數 繼續 劃分出相對靜止區域和運 做分 别 處理。第 3 級的 mXmath/mXmathd 用于劃分圖像為運動和靜止區域，可以 分 别 濾波或者增強處理， 但無 時域濾波效果。該接口的取值範圍 是 [0, 999] 。 mXmath 的取值應大于或 等 于 mXmathd 的取值。 [mXmate] ： 表示平坦區域運動檢測指數， 其 值越大，被平坦運動檢測單 元 判定為“ 靜止 ” 的像 素 越多， 因而 被 實施 時域濾波的像 素 也越多，畫面當 然 也越 安 靜； 一般 需要先 将 math 調試到合 适 ， 再微 調 mate ，以平 衡 雨點噪聲和運動拖尾為合 适 ， 其 取值範圍為 [0,8] 。 [mXmabw] ： 運動檢測内容視窗大小的選擇， 主要配 合 math 使用，值越大，視窗越大。當在低 照 度下 math 調大 還 不能抑制雨點，建議将 mabw 調試到 7 以上， 從 而 可以 減輕 math 抑制雨點的 負擔 ，降低時域濾波的 副 作用，取值範圍為 [0, 9] 。如 果 某 一級分 層 處理， 背景層 （第 1 層 ）的 mabw 的取值範圍為 [5, 9] ； 前景層 （第 0 層 ）的取值為 [0, 9] ， 但 推薦使用 [0, 4] 以防止拖尾。如果不分 層 （也 就是 biPath = 0 ） , mabw 的取值範圍為 [5, 9] 。
[mXid] ： 根據 [mXmath] 的結果分為不同區域，分 别 選擇采用哪種 輸 出效果。每 個數的取值為 [0,3] ，分 别 表示 [sfr] 、 [nXstr] 、 [nXtfr] 、 [nXtfs] 的 輸 出結果，取值越 大，時域參數作用越強。
[mXmabr] 和 [mXmadz] 其 濾波器的選擇對應于 mXid 中的第 二個 參數。 [AdvMath] 開關用于選擇 普 通型動靜判決接口 math 還是 增強型動靜判決接口，建議在分 層 處理時開 啟 該開關，增強模式隻作用于第一級的 前景層 。當采用增強 型接口， 前景層 的 math 設定的值通 常 小于 普 通型接口的值。取值範圍 [0, 1] 。 0 為 普 通模式， 1 為增強模式。如果不分區域，該接口取值為 0 。 [AdvTh] 該接口決定增強型 math 的作用強度。值越小，作用越強。
[mXmatw] 時域濾波防運動拖尾指數，該值越大，運動拖尾收斂越快，反之，該 值越小，運動拖尾收斂越慢， 其 取值範圍為 [0, 3] 。一般預設為2。 [mXmasw]：時域濾波防雨點指數，該值越大，有助于降低雨點噪聲出現的機率， 其取值範圍為 [0,15]。一般不建議調試，設定為預設值 12。
色度資訊去噪
視訊色度去噪接口 NRc 去噪 主要 調試參數為 sfc ， tfc ， trc, tpc 。 色度去噪 主要 調試參數為 sfc ， trc ， tfc ， tpc ；在低 照 度下，由于色度噪聲比 較強，一般調試 sfc=255 ， tfc =15 ， tpc = 15 ， trc =255 ； 正常照 度下，色度噪聲比 較 弱，可以 适 當将 sfc ， trc ， tfc ， tpc 調小 [sfc] ：表示色度空域濾波強度，取值範圍為 [0, 255] 。 [tfc] ：表示色度時域濾波強度，一般建議 tfc 在低 照 度下調試不 超 過 15 ， 否則 會出現色彩拖尾 等副 作用，取值範圍為 [0, 32] 。 [tpc] ：表示時域色噪濾波類型，建議調試 tpc=tfc ，取值範圍為 [0, 32] 。 [trc] ：用于抑制運動區域的色彩侵染現象，當出現色彩 浸 染 trc 調為 10 以内，取值範圍為 [0, 255] 。
調試
關于3DNR去噪子產品與YUV sharpen子產品相似，需要與感光度ISO進行關聯調試，主要分為兩部分介紹，一是高ISO環境的下的3DNR去噪，一是低ISO環境下的3DNR去噪。
先是高ISO方面的3DNR去噪，通過曝光資訊可以看到，場景下所處的ISO為137447，下圖場景說明環境處于黑暗低光環境當中，這時候我們需要對目前ISO下進行3DNR去噪，盡可能的使得圖像噪聲減少，圖像變得清晰。
影響這部分的主要是，第1、第2級去噪功能，我們可以通過調試下下圖紅框部分，使得圖像變得清晰。
12.25補充
紅框部分時用于平滑圖像
3DNR的一些調試經驗
對于調試3DNR部分，我覺得應該時先解決好圖像的噪聲問題，如上圖所示可以解決圖像噪聲，然後再是提升圖像的細節問題，再提升圖像細節的過程中，我們可以适當修改結果濾波器的參數，達到一個較好的效果。過程中我們可以适當增加一些圖像噪聲，但是要整體保持圖像的一個平滑度，避免把噪聲當成了細節進行了增強。
下圖是在低照度下，調試出來的結果，自認為結果可觀的。