天天看點

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

http://www.cjig.cn/html/jig/2016/12/20161204.htm

二值化的SIFT特征描述子及圖像拼接優化

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

李倩,  江澤濤 桂林電子科技大學計算機與資訊安全學院, 桂林 541004

收稿日期: 2016-05-16; 修回日期: 2016-08-30 基金項目: 國家自然科學基金項目(61272216,61572147);桂林電子科技大學圖像圖形智能處理重點實驗項目(GIIP201501,GIIP201401);廣西可信軟體重點實驗室項目(kx201502) 第一作者簡介: 李倩(1990-),女,桂林電子科技大學計算機科學與技術專業碩士研究所學生,主要研究方向為計算機視覺、圖像處理等。E-mail: [email protected] 中圖法分類号: TP391 文獻辨別碼: A 文章編号: 1006-8961(2016)12-1593-09

摘要

目的 針對SIFT算法計算複雜度高、存儲開銷大和近幾年提出的BRIEF(binary robust independent elementary features)、ORB(oriented BRIEF)、BRISK(binary robust invariant scalable keypoints)和FREAK(fast retina keypoint)等二進制描述子可區分性弱和魯棒性差的問題,提出基于SIFT的二進制圖像局部特征描述子。 方法 首先,對傳統SIFT的特征空間和特征向量分布在理論和實驗上進行分析,在此基礎上結合二進制特征描述子的優勢對SIFT進行改進。不同于傳統的二進制特征描述子,本文算法對傳統SIFT特征向量在每一維上的分量進行排序後,以該特征向量的中值作為量化門檻值,将高維浮點型SIFT特征向量轉化成位向量得到二進制特征描述子。并使用易于計算的漢明距離代替歐氏距離度量特征點間的相似性以提高比對效率。然後,在比對階段将二進制特征描述子分為兩部分并分别對其進行比對,目的是通過初比對剔除無效比對特征點來進一步縮短比對時間。最後,對提出的量化算法的可區分性及魯棒性進行驗證。 結果 該量化算法在保持SIFT的較強的魯棒性和可區分性的同時,達到了低存儲、高比對效率的要求,解決了SIFT算法的計算複雜度高、二進制描述子魯棒性和可區分性差的問題。此外,在比對階段平均剔除了77.5%的無效比對特征點,減少了RANSAC(random sample consensus)的疊代次數。 結論 本文提出的量化算法可用于快速比對和快速圖像拼接中,提高比對和拼接效率。

關鍵詞

SIFT(scale invariant feature transform); 二進制特征描述子; 魯棒性; 可區分性; 快速圖像拼接

Binary quantized SIFT feature descriptors for optimized image stitching

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

Li Qian,  Jiang Zetao College of Computer and Information Security, Guilin University of Electronic Technology, Guilin 541004, China Supported by: Supported by:National Natural Science Foundation of China (61272216, 61572147)

Abstract

Objective A novel binary local feature descriptor based on SIFT is proposed to avoid disadvantages such as high computational cost and large memory cost of SIFT, and low discriminative power and robustness from binary-valued descriptors such as BRIEF, ORB, BRISK, and FREAK. Method Traditional SIFT feature space and distribution of feature vectors are analyzed theoretically and experimentally. Based on the results, the SIFT algorithm is improved by combining the advantages of binary descriptors. Different from traditional binary descriptors, each component of the SIFT feature vector is sorted by magnitude, and median values are selected as quantization thresholds to transform the high-dimensional floating point SIFT feature vector to a bit vector. Similarity between key points is evaluated by the Hamming distance instead of the Euclidean distance to improve matching efficiency. Then, the binary descriptor is divided into two parts that are matched at the matching stage. The purpose is to eliminate invalid matching feature points to further reduce matching time. Extensive experiments on large databases demonstrate the strong discriminative power and robustness of our quantization methods. Resuls The binary feature descriptor proposed considers low memory cost and high matching efficiency while maintaining the strong discriminative power and robustness. The descriptor proposed solves the computational complexity from SIFT and the low discriminative power and robustness from binary descriptors. Moreover, an average of 77.5% invalid matching key points is eliminated to reduce the number of iterations of RANSAC. Conclusion The proposed quantization algorithm can be used for fast image matching and fast image stitching to improve the efficiency of matching and stitching.

Key words

SIFT(scale invariant feature transform); binary feature descriptors; robustness; discriminative power;fast image stitching

0 引 言

圖像拼接品質的好壞主要取決于圖像配準的精度。一種魯棒性好且比對效率高的圖像局部特征描述子是圖像配準技術的關鍵,它的穩定性和比對效率直接影響到特征配準的效果,進而影響到圖像拼接的品質和效率。

Mikolajczyk等人對各種局部描述子進行系統比較,表明SIFT(scale invariant feature transform)[1]是最出色的局部描述算子[2]。傳統SIFT提取出的特征點具有很高的穩定性,它采用浮點型描述子描述圖像特征。雖然這類描述子對尺度、旋轉、光照、圖像模糊等圖像變換具有較好的魯棒性和可區分性,在大多數情況下具有較高的比對率。但由于其特征向量是高維的浮點數,并且用歐氏距離作為特征點之間的度量準則,這将導緻巨大的存儲開銷和計算量,限制了其應用範圍[3]。為降低SIFT特征向量的高維性和減少計算時間,Ke等人[4]對SIFT算法進行主成分分析(PCA)提出PCA-SIFT算法,該算法相對于SIFT在運作時間和仿射變化上的性能有所提升,但是對尺度變換和平滑模糊較敏感且計算量更大。Bay等人[5]提出SURF(speeded up robust features)算法,它利用Haar小波來近似SIFT方法中的梯度操作,同時利用積分圖技術進行快速計算,但它對旋轉變換敏感。上述方法在提高速度的同時丢失了對尺度、旋轉等圖像變換的魯棒性,也未從根本上解決高維浮點型特征向量的性能瓶頸問題。

近幾年學者們采用二值化方式描述圖像特征[6]。Calonder等人[7]提出BRIEF(binary robust independent elementary features)特征描述算法,該算法利用局部圖像鄰域内随機點對的灰階大小關系來建立局部圖像特征描述子,對噪聲敏感;且BRIEF沒有計算關鍵點的方向,是以不具備旋轉不變性;也不具備尺度不變性。Rubee等人[8]試圖對BRIEF噪聲敏感、不具有旋轉不變性的缺點進行改進,提出ORB(oriented BRIEF)算法,它利用不變矩計算角點主方向,但當不變矩表示向量的模接近于0時,存在方向不穩定的情況。Leutenegger等人[9]提出一種旋轉且尺度不變的二進制描述子BRISK(binary robust invariant scalable keypoints),該算法在生成多尺度圖像的基礎上,提取AGAST(adaptive and generic corner detection based on the accelerated segment test)[10]特征點,但它隻進行了局部非極大值抑制,沒有去除邊緣響應點。Alahi等人[11]受人眼視網膜系統的啟發,提出FREAK(fast retina keypoint)。以上二進制描述子共同的優點都是用一個比特串來表示,相對于浮點型的描述子,其存儲空間大大減少;用漢明距離代替歐氏距離來度量特征點之間的相似性,漢明距離可通過描述子間的邏輯異或操作來完成,大大降低了計算複雜度[12]。然而,相對于傳統的浮點型描述子,這些二進制描述子的可區分性和魯棒性較差,在圖像比對的過程中易産生大量的誤比對,進而導緻圖像拼接效果不理想。

為了充分利用SIFT算子可區分性強、魯棒性強和二進制描述子低存儲、高比對效率的優勢,彌補SIFT算子和二進制描述子的不足,本文提出基于SIFT的二進制圖像局部特征描述子。創新點主要有兩個方面:

1) 對傳統SIFT的特征空間和特征向量分布在理論和實驗上進行分析,在此基礎上結合二進制描述子低存儲的優勢對SIFT進行改進。對SIFT特征向量在每一維上的分量進行排序後,以該特征向量的中值作為量化門檻值,将高維浮點型SIFT特征向量轉化成位特征向量得到二進制特征描述子,利用漢明距離代替歐氏距離度量特征點間的相似性以提高比對效率。并驗證量化後的算法仍具有SIFT較強的可區分性和魯棒性;

2) 為進一步縮短比對時間,根據特征點鄰域内的像素點對它的資訊量貢獻的多少,将描述子分為兩個部分。先将描述子中對特征點資訊量貢獻較多的部分進行初比對來剔除部分無效比對特征點;對于篩選出來的特征點,再進一步對描述子中的另一部分進行比對來得到最近鄰和次近鄰點。

1 傳統SIFT特征

1.1 SIFT描述子

傳統SIFT描述子是關鍵點鄰域高斯圖像梯度統計結果的一種表示,該算法利用特征點鄰域像素的梯度資訊估計特征點的主方向和擷取特征描述子。對于任意一個特征點所在的尺度空間,将以特征點為中心的鄰域均勻地分成4×4的子區域,計算子區域内每個像素點的梯度方向和梯度幅值,用高斯視窗對其進行權重并插值計算每個梯度方向的累加值後建立 8 個方向的梯度直方圖。然後,分别對4×4個子區域的8個梯度資訊根據位置依次排序,形成一個4×4×8=128維的特征向量,每一維對應梯度直方圖中的一個bin,該特征向量就是SIFT描述子。最後,将SIFT特征向量進行歸一化,減少光照變化的影響。

1.2 SIFT特征向量分布

對于SIFT特征向量對:fi=[fi,1,fi,2,…,fi,128]T,fj=[fj,1,fj,2,…,fj,128]T,其歐氏距離平方記為di,j2=$\sum\limits_{k=1}^{128}{{}}$(fi,k-fj,k)2。設Xi,j,k=(fi,k-fj,k)2,假設X.,k(k=1,2,…,128) 互相獨立,根據李雅普諾夫中心極限定理,這些随機變量的和近似服從正态分布。

對3.81×108個特征點對間的歐氏距離平方進行統計(這些特征點對是從不同場景下(室内、室外)的大量圖像組成的資料集中随機抽取所得到的),從圖 1可以看出,它近似服從正态分布,和理論上的估計是一緻的。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 1 特征向量間的歐氏距離平方分布 Fig. 1 The distribution of the square of Euclidean distance between feature vectors

2 基于SIFT的二進制特征描述子

2.1 特征量化

對于傳統SIFT,其特征向量的每個分量是一個0255之間的整數,在SIFT特征向量空間共有256128≈1.8×10308個不同的SIFT特征向量,巨大的資料量使得該特征空間具有較好的可區分性。而 SIFT描述子隻利用了該特征空間的一小部分,就使得其具有較強的可區分性,這說明該特征空間存在備援,可對其進行壓縮。

本文對傳統SIFT描述子進行量化。對于128維的浮點型SIFT特征向量f=[f1,f2,…,f128]T∈R128,fi∈R,(i=1,2,…,128) 。定義量化函數

${{b}_{i}}=\left\{ \begin{align} & \begin{matrix} 1 & {{f}_{i}}>K \\ \end{matrix} \\ & \begin{matrix} 0 & {{f}_{i}}\le K \\ \end{matrix} \\ \end{align} \right.i=1,2,\ldots ,128$ (1)

把f轉化為二進制特征向量b=[b1,b2,…,b128]T。K為門檻值,本文選擇特征向量f的中值作為門檻值。原因如下:中值描述了一組資料的中心趨勢,能夠排除極端值的幹擾,對數值的改變是相對穩定的;使用中值作為門檻值,對每個SIFT特征向量的分量進行量化,量化結果為0/1是等機率的,能夠實作熵最大化,将SIFT特征向量均勻地映射到二進制空間;經過量化的SIFT特征向量,在128維的二進制空間上共有2128=3.4×1038個不同的二進制向量。這個資料量足以使量化後的二進制特征向量仍具有傳統SIFT較強的可區分性,且提高了特征空間的使用率。

如果量化後的二進制特征向量仍能夠保持傳統SIFT的可區分性,那麼二進制特征向量間的漢明距離和傳統SIFT特征向量間的歐氏距離平方的分布應保持一緻性。為證明量化後的二進制特征向量仍具有SIFT特征向量較強的可區分性,對上述的3.81×108個特征點對間的漢明距離進行統計,得到如圖 2所示的結果,可以看出,量化前的SIFT特征向量間的歐氏距離平方與量化後的二進制特征向量間的漢明距離具有相同的分布,均近似服從正态分布。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 2 特征向量間的漢明距離分布 Fig. 2 The distribution of the Hamming distance between feature vectors

本文定義的量化函數也可以看做是一種基于哈希的方式,但不同于經典的LSH(locality sensitive hashing)[13]方法,LSH通過多個哈希函數把高維空間中的浮點型特征向量映射到漢明空間來獲得二進制特征向量,它涉及多個哈希函數的運算,而該量化方法隻使用了一個哈希函數,相對于LSH來說,運算更簡便且效率更高。

在上述的資料集中随機抽取1.5×107個SIFT特征,對其特征向量的中值進行統計發現,大部分SIFT特征向量的中值相對較小,在13附近,圖 3描述了SIFT特征向量的中值與特征點機率分布的關系。但是有些SIFT特征向量的分量達到了140左右,如圖 4所示。是以,用上述提出的量化方法生成的描述子不能很好地區分較高範圍内的特征分量,進而導緻這部分的量化損失。為了避免這一問題,本文在較高的特征向量的分量範圍内再取一個中值來增加這個範圍内各分量的可區分性。即首先在整個128維特征向量中取一個中值,然後再在該中值以上的分量範圍内取一個中值。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 3 SIFT特征向量的中值與特征點機率分布關系 Fig. 3 The relationship between the median value of the SIFT descriptor and the probability distribution of feature points

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 4 某個SIFT特征向量在各維上的分量值的降序排列 Fig. 4 SIFT descriptor in the descending order of magnitude

定義量化函數為

$\begin{array}{l} ({b_i},{b_{i + 128}}) = \left\{ \begin{array}{l} \begin{array}{*{20}{c}} {\left( {1,1} \right)}&{{f_i} > {K_2}} \end{array}\\ \begin{array}{*{20}{c}} {\left( {1,0} \right)}&{{K_1} \le {f_i} \le {K_2}} \end{array}\\ \begin{array}{*{20}{c}} {\left( {0,0} \right)}&{f \le {K_1}} \end{array} \end{array} \right.\\ i = 1,2, \ldots ,128 \end{array}$ (2)

[g1,g2,…,g128]T是特征向量[f1,f2,…,f128]T的降序排列。K1=g$\frac{d-1}{2}$,即g63;K2=g$\frac{\frac{d}{2}-1}{2}$,即g31。通過量化,128維浮點型SIFT特征向量f=[f1,f2,…,f128]T被量化為256位的二進制特征向量${\bar{b}}$=[b1,b2,…,b256]T。SIFT描述子被劃分為3部分,每個部分采用2位進行編碼。

通過對高維浮點型特征向量進行量化,得到的兩種二進制描述子在存儲開銷上由傳統SIFT的128×32=4 096 bits分别降低到了128 bits和256 bits,分别是傳統SIFT算法的1/32和1/16,大大減少了存儲開銷。

2.2 特征配準

圖像之間的特征比對是尋找特征點的最近鄰的過程,當比對次數很大時,傳統SIFT算法中浮點數之間的歐氏距離的計算量将達到很大,且存儲開銷很大。本文将高維浮點型特征向量量化成二進制特征向量後,高維浮點型特征向量間的比較可以轉化為二進制特征向量間漢明距離的比較。

像素點距離特征點越近,和特征點的關系就越密切,對其貢獻的梯度資訊量就越大;反之,距離越遠,關系就疏遠,對特征點貢獻的梯度資訊量就越少。為進一步縮短比對時間,把以特征點為中心的4×4子區域分為兩部分:以特征點為中心的中間的2×2=4子塊(如圖 5所示的綠色線内)為一部分;剩餘邊緣的12個子塊為一部分。特征點的描述子也随之被分成兩部分:li=[li,0,li,1,…,li,31]=[bi,40,bi,41,…,bi,55,bi,72,bi,73,…,bi,87],hi=[hi,0,hi,1,…,hi,95]=[bi,0,bi,1,…,bi,39,bi,56,bi,57,…,bi,71,bi,88,bi,89,…,bi,127],分别代表以特征點為中心的中間的2×2=4個子塊資訊和邊緣的12個子塊資訊。在進行特征比對時,對于參考圖像中的某個特征點,在待配準圖像中先對描述子中代表中間2×2=4個子塊資訊的部分進行初步比對來剔除無效比對特征點。即:計算該部分描述子間的漢明距離,将計算結果和門檻值(本文設定為12) 進行對比,如果大于門檻值,則在初比對時就剔除該特征點;否則,認為初比對成功;對于篩選出來的特征點,進一步對描述子中代表邊緣的12個子塊資訊的部分進行比對。在待配準圖像中尋找最近鄰和次近鄰點,如果兩者的比值小于等于0.49(為和傳統SIFT算法進行比較,設定為和傳統SIFT算子相同的比值),則認為比對成功;否則,則認為比對失敗。通過對特征點進行初步篩選,平均剔除了77.5%的無效比對特征點。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 5 以特征點(紅色圓點代表特征點)為中心的4×4鄰域内的梯度資訊 Fig. 5 Gradient information of 4×4 subregions centered with keypoint (red dot represents keypoint)

Kd-Tree(K-dimensional tree)是一種分割k維空間的資料結構,主要應用于多元空間關鍵資料的搜尋。為将Kd-Tree擴充到高維資料集上,Beis等人[14]提出Kd-Tree with BBF(best bin first)算法,該算法能夠實作近似K近鄰的快速搜尋,在保證一定查找精度的前提下使得查找速度加快。而窮舉法查找最近鄰的時間複雜度為O(n2),通過使用Kd-Tree算法查找近似最近鄰的計算複雜度下降到O(nlog n)[14]是以,當特征點對的數量較少時,使用簡單的窮舉搜尋法效率較高;但當特征點對的數量很大且次元較高時,窮舉搜尋的效率就會大打折扣。

在本文實驗中,使用SIFT+Kd-Tree+BBF實作傳統SIFT高維浮點型向量間的粗比對;使用窮舉搜尋來實作量化算法BSIFT1和BSIFT2中二進制特征向量間的粗比對(BSIFT的含義為:Binary Quantized SIFT; BSIFT1表示本文提出的第1種量化方法;BSIFT2表示本文提出的第2種量化方法,文章後面部分凡是提到如上所述的簡寫形式,均指此含義);三者都用RANSAC(random sample consensus)[15]算法提純來剔除誤比對點。對這三者的比對速度進行對比發現,當特征點對數小于6×106時,BSIFT1和BSIFT2算法的平均比對時間遠小于傳統SIFT,BSIFT1最大可以達到傳統SIFT的4.17倍;量化算法BSIFT2最大可以達到傳統SIFT的3.78倍;當特征點對數趨于1×107時,BSIFT1和BSIFT2算法的平均比對時間逐漸向傳統SIFT靠攏,如圖 6所示。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 6 各算法的平均比對時間對比 Fig. 6 Comparison between quantization methods and the traditional SIFT for the average matching time

實驗對比結果表明:當特征點對的數量小于1×107時,使用窮舉法進行二進制特征向量間比對,其速度優于傳統SIFT;但當特征點對的數量繼續增長時,二進制特征向量的平均比對時間逐漸向SIFT靠攏,比對速度逐漸下降。2012年,Muja等人[16]基于對搜尋空間進行層次分解的思想,提出一種二進制特征間的快速近似最近鄰比對方法,如果想進一步提高二進制特征向量間的比對速度,就要從二進制特征向量間的快速比對算法方面入手。

2.3 圖像拼接

一種魯棒性好且比對效率高的圖像局部特征描述子是圖像配準技術的關鍵,它的穩定性直接影響到特征配準的效果,進而影響到圖像拼接的品質和拼接效率。運用上述量化方法能夠提高比對效率、優化圖像拼接,對快速比對和快速圖像拼接具有重要意義。

可以将本文提出的量化算法擴充到對實時性要求較高視訊拼接中。先根據首幀提取的特征點進行比對,估計參考幀和待拼接幀間的單應性矩陣,通過該單應性矩陣計算出待拼接幀在參考幀中的坐标空間位置,得到錄影機之間的重疊區域;然後将這個區域設定為下一幀尋找特征點的感興趣區域(ROI),下一幀隻在這個感興趣區域内提取特征點,而不再在整幅圖像中提取。在拼接過程中,随機地抽取某些幀進行檢測來判斷拼接的準确性。這樣,将本文提出的量化方法和隻對感興趣區域進行特征點提取的思想結合使用,可減少大量的比對時間和存儲開銷,對視訊拼接很有效,可提高視訊拼接的實時性。

3 實驗結果及分析

3.1 魯棒性測試

為驗證本文算法在尺度、旋轉、光照、圖像模糊等圖像變換下具有較好的魯棒性,利用Oxford标準資料集[17]對SIFT、本文兩種量化方法的魯棒性進行測試對比。資料集包括了在視點變換(viewpoint change)、光照變換(illumination change)、圖像模糊(image blur)、縮放/尺度(zoom/scale)和JPEG壓縮(JPEG compression)條件下的8個圖像組,每組包括相同場景下不同變換程度的6幅圖像,每組圖像第一幅作為參考圖像,後面5幅圖像的标号分别為1,2,3,4,5,即讓後面5幅圖像和參考圖像分别進行比對。圖 7描繪了本文算法以及傳統SIFT算法在各個場景的不同變換程度條件下特征點對間的比對正确率的對比結果,比對正确率為

$k = \frac{R}{N} \times 100\% $ (3)

式中,k為比對正确率,R為正确的比對對數量,N為總的比對對數量。

實驗對比結果表明,本文算法在絕大多數圖像變換下,性能優于傳統SIFT算法。除了在較大的視點變換下(如圖 7(a)所示),性能有所下降,但比對正确率在圖 7(a)中所示的第1,2幅圖像的視點變換下仍明顯高于傳統SIFT算法。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 7 不同算法在不同變換下的比對準确率 Fig. 7 The comparison result of different algorithms under the different conditions ((a) Graf;(b) Wall (c) Bikes;(d) Trees;(e) Bark;(f) Boat;(g) Leuven;(h) UBC)

3.2 圖像拼接測試

利用本文算法進行圖像拼接,從參考圖像和待拼接圖像中提取的特征點數量分别為1 499、2 238。在存儲開銷方面,量化算法BSIFT1是傳統SIFT算法的1/32;量化算法BSIFT2是傳統SIFT算法的1/16。在比對準确率方面,兩種量化算法均比傳統SIFT算法提高了10%左右。在比對速度上,量化算法BSIFT1的比對速度比傳統SIFT算法的提高了3.62倍;量化算法BSIFT2的平均比對時間比傳統SIFT算法提高了2.97倍。圖像拼接結果如圖 8所示。

二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻
二值化的SIFT特征描述子及圖像拼接優化 摘要 關鍵詞 Abstract Key words 0 引 言 1 傳統SIFT特征 1.1 SIFT描述子 1.2 SIFT特征向量分布 2 基于SIFT的二進制特征描述子 2.1 特征量化 2.2 特征配準 2.3 圖像拼接 3 實驗結果及分析 3.1 魯棒性測試 3.2 圖像拼接測試 4 結 論 參考文獻

圖 8 圖像拼接結果 Fig. 8 The result of image stitching ((a) the reference image; (b) the image to be matched; (c) the result of feature matching; (d) feature matching after RANSAC; (e) the result of image stitching)

4 結 論

本文結合傳統SIFT算法可區分性強、魯棒性強以及二進制描述子存儲開銷少、比對效率高的優勢,并針對SIFT算法和二進制描述子的不足,提出基于SIFT的二進制局部特征描述子。對傳統SIFT的特征空間和特征向量分布在理論和實驗上進行分析,在此基礎上将傳統SIFT特征向量量化為二進制特征向量,并證明提出的量化算法具有較強的可區分性和魯棒性;利用漢明距離代替歐氏距離來度量量化後的二進制描述子間的相似性以提高比對效率;在比對階段,将描述子分為兩部分分别對其進行比對,這樣,通過初比對可剔除部分無效比對特征點,進一步縮短了比對時間。

同傳統SIFT算法相比,本文提出的兩種量化算法的突出優點表現在:在保證傳統SIFT算法較強的魯棒性和可區分性的前提下,大大減少了存儲開銷,降低了計算複雜度、提高了比對效率,達到了描述子對魯棒性、可區分性與比對效率權衡的要求,對快速比對和快速圖像拼接具有重要意義。将優化的圖像拼接擴充到視訊拼接中,能夠提高視訊拼接的實時性。

下一步的研究工作将針對當特征點對的數量超過某一範圍時,二進制特征向量間利用窮舉法進行比對的比對速度下降的缺點,并結合Muja等人[16]提出的二進制特征向量間的快速比對算法,對本文中的二進制特征向量間的比對算法進一步改進,實作更快速的特征比對。

參考文獻

    • [1] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision , 2004, 60 (2) : 91–110.  DOI:10.1023/B:VISI.0000029664.99615.94]
    • [2] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence , 2005, 27 (10) : 1615–1630.  DOI:10.1109/TPAMI.2005.188]
    • [3] Miksik O, Mikolajczyk K. Evaluation of local detectors and descriptors for fast feature matching[C]//Proceedings of the 21st International Conference on Pattern Recognition. Tsukuba, Japan:IEEE, 2012:2681-2684.
    • [4] Ke Y, Sukthankar R. PCA-SIFT:A more distinctive representation for local image descriptors[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC, USA:IEEE, 2004:511-517.[DOI: 10.1109/CVPR.2004.1315206]
    • [5] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding , 2008, 110 (3) : 346–359.  DOI:10.1016/j.cviu.2007.09.014]
    • [6] Bekele D, Teutsch M, Schuchert T. Evaluation of binary keypoint descriptors[C]//Proceedings of the 20th International Conference on Image Processing. Melbourne, Victoria, Australia:IEEE, 2013:3652-3656.[DOI: 10.1109/ICIP.2013.6738753]
    • [7] Calonder M, Lepetit V, Strecha C, et al. BRIEF:Binary robust independent elementary features[C]//Proceedings of the 11th European Conference on Computer Vision. Berlin Heidelberg:Springer, 2010:778-792.[DOI: 10.1007/978-3-642-15561-1_56]
    • [8] Rublee E, Rabaud V, Konolige K, et al. ORB:an efficient alternative to SIFT or SURF[C]//Proceedings of the International Conference on Computer Vision. Barcelona, Spain:IEEE, 2011:2564-2571.[DOI: 10.1109/ICCV.2011.6126544]
    • [9] Leutenegger S, Chli M, Siegwart R Y. BRISK:Binary robust invariant scalable keypoints[C]//Proceedings of the International Conference on Computer Vision. Barcelona, Spain:IEEE, 2011:2548-2555.[DOI: 10.1109/ICCV.2011.6126542]
    • [10] Mair E, Hager G D, Burschka D, et al. Adaptive and generic corner detection based on the accelerated segment test[C]//Proceedings of the 11th European Conference on Computer Vision. Berlin Heidelberg:Springer, 2010:183-196.[DOI: 10.1007/978-3-642-15552-9_14]
    • [11] Alahi A, Ortiz R, Vandergheynst P. FREAK:Fast retina keypoint[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. France:IEEE, 2012:510-517.[DOI: 10.1109/CVPR.2012.6247715]
    • [12] Hartmann J, Klussendorff J H, Maehle E. A comparison of feature descriptors for visual SLAM[C]//Proceedings of the European Conference on Mobile Robots. Barcelona, Spain:IEEE, 2013:56-61.[DOI: 10.1109/ECMR.2013.6698820]
    • [13] Datar M, Immorlica N, Indyk P, et al. Locality-sensitive hashing scheme based on p-stable distributions[C]//The Twentieth Annual Symposium on Computational Geometry. New York, USA:ACM, 2004:253-262.[DOI: 10.1145/997817.997857]
    • [14] Beis J S, Lowe D G. Shape indexing using approximate nearest-neighbour search in high-dimensional spaces[C]//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Juan, Puerto Rico:IEEE, 1997:1000-1006.[DOI: 10.1109/CVPR.1997.609451]
    • [15] Fischler M A, Bolles R C. Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM , 1981, 24 (6) : 381–395.  DOI:10.1145/358669.358692]
    • [16] Muja M, Lowe D G. Fast matching of binary features[C]//Proceedings of the 9th Conference on Computer and Robot Vision. Toronto, Ontario, Canada:IEEE, 2012:404-410.[DOI: 10.1109/CRV.2012.60]
    • [17] Mikolajczyk K. Affine Covariant Features[EB/OL].2007-07-15[2016-08-27].  http://www.robots.ox.ac.uk/~vgg/research/affine/.

繼續閱讀