1 算法簡介
局部特征相關算法在過去二十年期間風靡一時,其中代表的有SIFT、SURF算法等(廣泛應用于目标檢測、識别、比對定位中),這兩種算法是用金字塔政策建構高斯尺度空間(SURF算法采用框濾波來近似高斯函數)。不論SIFT還是SURF算法在構造尺度空間時候存在一個重要的缺點:高斯模糊不保留對象邊界資訊并且在所有尺度上平滑到相同程度的細節與噪聲,影響定位的準确性和獨特性。
針對高斯核函數建構尺度空間的缺陷,有學者提出了非線性濾波建構尺度空間:雙邊濾波、非線性擴散濾波方式。非線性濾波政策建構尺度空間主要能夠局部自适應進行濾除小細節同時保留目标的邊界使其尺度空間保留更多的特征資訊。例如:BFSIFT采取雙邊濾波與雙向比對方式改善SIFT算法在SAR圖像上比對性能低下的問題(主要由于SAR圖像斑點噪聲嚴重),但是付出更高的計算複雜度。AKAZE作者之前提出的KAZE算法采取非線性擴散濾波相比于SIFT與SURF算法提高了可重複性和獨特性。但是KAZE算法缺點在于計算密集,通過AOS數值逼近的政策來求解非線性擴散方程,雖然AOS求解穩定并且可并行化,但是需要求解大型線性方程組,在移動端實時性要求難以滿足。
2 非線性擴散濾波
作者目的在于如何将局部特征算法應用到移動裝置(由于移動裝置資源有限同時實時性要求較高),主要正對KAZE算法改進一下兩點:1 利用非線性擴散濾波的優勢擷取低計算要求的特征,是以作者引入快速顯示擴散數學架構FED來快速求解偏微分方程。采用FED來建立尺度空間要比當下其它的非線性模式建立尺度空間都要快,同時比AOS更加準确。2 引入一個高效的改進局部差分二進制描述符(M-LDB),較原始LDB增加了旋轉與尺度不變的魯棒性,結合FED建構的尺度空間梯度資訊增加了獨特性。與SIFT、SURF算法相比,AKAZE算法更快同時與ORB、BRISK算法相比,可重複性與魯棒性提升很大。
3 Accelerated-KAZE特征
3.1 快速顯示擴散(FED)
非線性擴散濾波描述圖像亮度的演化是通過提升尺度參數作為熱擴散函數的散度因子來控制擴散過程。通常采用偏微分方程進行求解,由于涉及微分方程非線性性質,通過圖像亮度的擴散來建構尺度空間。經典非線性擴散方程如下: ∂ L ∂ t = d i v ( c ( x , y , t ) ∙ ∇ L ) \frac{∂L}{∂t}=div(c(x,y,t)∙∇L) ∂t∂L=div(c(x,y,t)∙∇L) 參數解釋:L為圖像亮度矩陣,div與∇分别代表散度與梯度求解操作。由于擴散方程中引入傳導函數c能夠自适應于圖像局部結構特性進行擴散。傳導函數依賴于圖像局部差分結構可以是标量或者張量形式。時間參數t對應于尺度因子,在擴散過程中通過圖像梯度大小來控制。傳導函數公式定義如下: c ( x , y , t ) = g ( ∣ ∇ L σ ( x , y , t ) ∣ ) c(x,y,t)=g(|∇L_σ (x,y,t)|) c(x,y,t)=g(∣∇Lσ(x,y,t)∣) 參數解釋: ∇ L σ ∇L_σ ∇Lσ是經過高斯函數(尺度參數σ)平滑圖像L。針對區域擴散平滑最優選擇傳導核函數: g 2 = 1 ( 1 + ∣ ∇ L σ ∣ 2 λ 2 ) g_2=\frac{1}{(1+\frac{|∇L_σ |^2}{λ^2} ) } g2=(1+λ2∣∇Lσ∣2)1 參數 λ λ λ用來控制擴散的程度,決定邊緣區域要進行增強且平坦區域濾波的決策因子。FED結合顯式和半隐式理論的優勢互補,FED求解的思想動機來自于顯式理論分解box濾波器:能夠很好的近似高斯濾波器和便于應用。執行M個循環的n次顯示擴散步驟,每次步長大小 τ j τ_j τj來自于box filter濾波器的因子分解: τ j = τ m a x 2 c o s 2 π ( 2 j + 1 ) ( 4 n + 2 ) τ_j=\frac{τ_{max}}{2{cos^2} {\frac{π (2j+1)}{(4n+2)} }} τj=2cos2(4n+2)π(2j+1)τmax 當然, τ m a x τ_{max} τmax最大步長門檻值目的在于不能違背顯式求解穩定條件的範圍。由于FED與box濾波相似性,盒濾波始終穩定狀态,是以可以擷取FED循環結束的穩定。上式1用矢量化矩陣進行表示如下: L ( i + 1 ) − L i τ = A ( L i ) L i \frac{L^{(i+1)}-L^i}{τ}=A(L^i ) L^i τL(i+1)−Li=A(Li)Li 參數解釋:A( L i L_i Li)是對圖像編碼的傳導矩陣, τ τ τ為一個恒定的步長(限制顯式擴散穩定條件)。顯式方法中, L ( i + 1 ) L^{(i+1)} L(i+1)的解将通過前面圖像演化 L i L^i Li與圖像的傳導函數A( L i L^i Li )直接計算出來: L ( i + 1 , j + 1 ) = ( I + τ j A ( L i ) ) L ( i + 1 , j ) ∣ j = 0 , 1 , … , n − 1 L^{(i+1,j+1)}=(I+τ_jA(L^i )) L^{(i+1,j)} | {j=0,1,…,n-1} L(i+1,j+1)=(I+τjA(Li))L(i+1,j)∣j=0,1,…,n−1 在整個FED循環中,矩陣A( L i L^i Li)始終保持不變。當FED循環結束,算法将會重新計算矩陣A( L i L^i Li )的值。

圖1 建構非線性尺度空間FED政策流程算法 建構非線性尺度空間政策與經典SIFT算法類似,通過設定層數 O與塔數 S參數後,通過擴散函數依據時間 t i t_i ti(與尺度參數聯系起來)來進行尺度空間的建構。 σ i ( o , s ) = 2 o + s S σ_i (o,s)=2^{\frac{o+s}{S}} σi(o,s)=2So+s 變量範圍: o ∈ [ 0 , 1 , … , O − 1 ] , s ∈ [ 0 , … , S − 1 ] i ∈ [ 0 , … , M − 1 ] o∈[0,1,…,O-1],s∈[0,…,S-1] i∈[0,…,M-1] o∈[0,1,…,O−1],s∈[0,…,S−1]i∈[0,…,M−1] t i = 1 2 σ i 2 , i = 0 … M t_i=\frac{1}{2 σ_i^2} ,i={0…M} ti=2σi21,i=0…M 從經過高斯平滑後的輸入圖像中自動計算對比因子 λ λ λ為70%比例的梯度直方圖。建構尺度空間時下采樣階段要對參數 λ λ λ乘以比例系數0.75來适應縮放變換。非線性尺度空間建構完成後,采用Hessian矩陣進行特征點提取同時采用SIFT政策對比相同位置上下兩層(加上目前層)的26個點對比是否仍然為極值點。以此完成局部特征點的提取。
3.2 M-LDB描述子
二進制描述符(ORB、BRISK等)由于高效率(可并行化)計算,在圖像變形較小的模式下能夠與SIFT算法性能接近。是以被廣泛應用在移動端以及實時性要求較高的目辨別别、追蹤等應用中。最近幾年提出的Local Difference Binary(LDB)描述子是由華科楊欣教授在14年提出,LDB通過采用領域的區域強度均值資訊和水準垂直方向上的梯度資訊,來增加二值描述的魯棒性與區分性。同時劃分多種大小不一的網格來描述采取Adaboost算法進行優化(具體内容查閱文末論文連結)。作者進一步針對LDB對圖像旋轉與縮放性能進行改進,旋轉不變性通過KAZE算法的特征點擷取主方向,然後LDB的網格進行相應的旋轉。M-LDB并不使用所有的劃分網格的像素,而是進行網格像素采樣(通過采樣網格的像素來完成尺度自适應)。采樣後平均值近似所劃分的細分網格均值效果很好,進行尺度的采樣使描述子對尺度變化具有更高的魯棒性。
圖2 M-LDB描述子示意圖 鑒于 M-LDB描述子在計算強度與梯度資訊的圖像的同一區域均值的布爾值結果并不是互相獨立的。通過旋轉随機的比特或者更複雜的方式來減少描述子的大小,或許可以改進結果,至少能夠減少計算負載而不降低性能。
4 實驗性能對比結果
圖3 AKAZE算法比對結果 AKAZE算法分别與目前魯棒特征比對算法SIFT、SURF和快速算法ORB、BRISK分别進行尺度、旋轉、JPEG壓縮、視差、模糊、抗噪等性能進行全面的評估。通過下圖可以看到,AKAZE算法在重複性評估上要優于上述其它的主流局部特征算法。圖5通過Matching Score(MS)和Recall(RC)來進行評估。圖6通過不同比特長度的二值M-LDB描述子進行性能的測試與對比,在模糊與視差資料集比較。同時圖6(c)還進行OpenCV與VLfeat視覺庫裡面SIFT、SURF算法進行系統的比較,結果表明AKAZE算法在計算效率與魯棒性上都由于經典的局部特征比對算法。
圖4 牛津标準資料集進行尺度縮放旋轉等算法性能對比
圖5 算法MS和RC性能對比
圖6 不同比特位描述子時間評估
5 總結
局部特征比對算法發展主要分為兩大類:精度提升與計算效率提升;自SIFT算法提出之後,出現一系列SIFT架構下的局部特征比對算法。速度方面:SURF算法是SIFT算法加速版,計算效率成本較SIFT要低3倍。ORB、BRISK等快速局部特征比對算法主要采用二值描述子進行加速,較SIFT描述符128為梯度差分魯棒性會降低很多但是速度極大提升。
當然,在精度上面也出現一系列魯棒描述子:DAISY描述子、CSIFT算法(多通道資訊提取)、GLOH(梯度方向直方圖)及其改進描述子等等。總體來說,SIFT架構代表局部特征算法發展趨勢:尺度空間的相關改進(多尺度空間保留有效資訊去除噪聲)、特征點精确提取、建構魯棒快速描述子、比對政策及其離群點等步驟。這裡面每一個環節都進行相應的改進,不過深度學習大行其道的今天,經典的局部特征算法将會逐漸退出舞台。不過,其背後的思想融入卷積神經網絡中,例如多尺度分析思想、卷積核思想、特征分析等等……
代碼下載下傳
AKAZE源代碼下載下傳:
作者官網下載下傳 :
http://www.robesafe.com/personal/pablo.alcantarilla/KAZE.html
OpenCV版AKAZE比對代碼下載下傳:
百度網盤連結:
https://pan.baidu.com/s/1lIuv2BQ8MxpgObx6ij3sFw 密碼:0lyv
ORB-LDB描述子(比對)作者官網下載下傳:
http://lbmedia.ece.ucsb.edu/research/binaryDescriptor/web_home/web_home/index.html
參考文獻
http://www.robesafe.com/personal/pablo.alcantarilla/kaze.html
http://lbmedia.ece.ucsb.edu/research/binaryDescriptor/web_home/web_home/index.html
https://github.com/pablofdezalc/akaze