Image Processing and Computer Vision_Review：Local Invariant Feature Detectors: A Survey——2007.11...

翻譯

局部不變特征探測器：一項調查

摘要 -在本次調查中，我們概述了不變興趣點探測器，它們如何随着時間的推移而發展，它們如何工作，以及它們各自的優點和缺點。我們首先定義理想局部特征檢測器的屬性。接下來是對過去四十年中根據不同類别的特征提取方法組織的文獻的概述。然後，我們對選擇的方法進行更詳細的分析，這些方法對研究領域産生了特别重大的影響。最後總結并展望未來的研究方向。

1引言

在本節中，我們将讨論局部（不變）特征的本質。這個詞我們的意思是什麼？使用局部特征有什麼好處？我們可以用它們做什麼？理想的局部特征會是什麼樣的？這些是我們試圖回答的一些問題。

1.1什麼是局部特征？

局部特征是一種圖像模式，它與其鄰近區域不同。它通常與圖像屬性或多個屬性的同時更改相關聯，盡管它不一定完全針對此更改進行局部化。通常考慮的圖像屬性是強度，顔色和紋理。圖1.1顯示了輪廓圖像（左）和灰階值圖像（右）中局部特征的一些示例。局部特征可以是點，也可以是邊緣或小圖像塊。通常，一些測量是從以局部特征為中心的區域擷取并轉換成描述符。然後，描述符可用于各種應用程式。

圖1.1視覺識别中角點和交叉點的重要性[20]以及由角點檢測器提供的感興趣點的圖像示例（參見第3.2節）。

1.2為什麼局部特征？

正如前言中簡要讨論的那樣，局部（不變）特征是一種特征強大的工具，已成功應用于各種系統和應用程式中。

在下文中，我們基于它們的可能用途區分三大類特征檢測器。它并非詳盡無遺或是對探測器進行分類的唯一方法，但它強調了使用場景所需的不同屬性。首先，人們可能對特定類型的局部特征感興趣，因為它們可能在特定應用的有限上下文中具有特定的語義解釋。例如，在航拍圖像中檢測到的邊緣通常對應于道路;斑點檢測可用于識别某些檢查任務中的雜質;這些是已經提出局部特征檢測器的第一個應用。其次，人們可能對局部特征感興趣，因為它們提供了一組有限的良好局部化和單獨識别的錨點。實際表示的特征并不是真正相關的，隻要它們的位置可以準确地并且以穩定的方式随時間确定。這例如是大多數比對或跟蹤應用中的情況，尤其是用于相機校準或3D重建。其他應用領域包括姿勢估計，圖像對齊或鑲嵌。這裡的典型示例是KLT跟蹤器[228]中使用的特征。最後，一組局部特征可以用作魯棒的圖像表示，其允許識别對象或場景而無需分割。同樣，這些特征實際上代表什麼并不重要。它們甚至不必精确地進行局部化，因為目标不是在個體基礎上比對它們，而是分析它們的統計資料。這種利用局部特征的方式首先在[213]和[210]的開創性工作中報道，并且很快變得非常流行，特别是在物體識别的背景下（對于特定物體以及類别水準識别）。其他應用領域包括場景分類，紋理分析，圖像檢索和視訊挖掘。

顯然，上述三個類别中的每一個都強加了自己的限制，并且在一個不同的問題的背景下，一個應用程式的良好特征可能是無用的。在為手頭的應用搜尋合适的特征檢測器時，可以考慮這些類别。在本次調查中，我們主要關注第二個，尤其是第三個應用場景。

最後，值得注意的是，在人類視覺系統的物體識别環境中也證明了局部特征的重要性[20]。更準确地說，實驗表明，從圖像中去除角點會阻礙人類識别，而去除大部分直邊資訊則不會。如圖1.1所示。

1.3關于術語的幾點注釋

在我們更詳細地讨論特征檢測器之前，讓我們解釋一下文獻中常用的一些術語。

1.3.1探測器或提取器？

傳統上，術語檢測器已用于指代從圖像中提取特征的工具，例如角點，斑點或邊緣檢測器。然而，這隻有在事先清楚圖像中的角點，斑點或邊緣是什麼時才有意義，是以可以說“錯誤檢測”或“錯過檢測”。這僅适用于前面提到的第一種使用場景，不是最後兩個，提取器可能在語義上更正确。仍然，術語檢測器被廣泛使用。是以，我們也堅持這個術語。

1.3.2不變量或協變量？

類似的讨論适用于“不變”或“協變”的使用。如果在從該族轉換應用于其參數時其值不會改變，則該函數在某個轉換族下是不變的。函數在與變換通信時是協變的，即，将變換應用于函數的參數具有與将變換應用于函數輸出相同的效果。一些例子可能有助于解釋這種差異。 2D表面的區域在2D旋轉下是不變的，因為旋轉2D表面不會使其變得更小或更大。但是，在相同的變換族中，表面的主軸慣性的方向是協變的，因為旋轉2D表面将以完全相同的方式影響其主軸的方向。基于這些定義，很明顯所謂的局部尺度和/或不變的特征實際上隻是協變的。另一方面，由于歸一化步驟，從它們派生的描述符通常是不變的。由于術語局部不變特征被廣泛使用，我們在本調查中使用“不變量”。

1.3.3旋轉不變或各向同性？

如果函數在所有方向上表現相同，則在特定點處是各向同性的。這個術語适用于例如紋理，不應與旋轉不變性相混淆。

1.3.4興趣點，區域或局部特征？

在某種程度上，理想的局部特征将是幾何中定義的點：在空間中具有位置但沒有空間範圍。然而，在實踐中，圖像是離散的，最小的空間機關是像素，離散化效應起着重要作用。為了定位圖像中的特征，需要分析局部像素鄰域，為所有局部特征提供一些隐含的空間範圍。對于一些應用（例如，相機校準或3D重建），在進一步進行中完全忽略該空間範圍，并且僅使用從特征提取過程導出的位置（該位置有時被确定為子像素精度）。在這些情況下，通常使用術語興趣點。

然而，在大多數應用中，還需要描述這些特征，使得它們可以被識别和比對，并且這又需要像素的局部鄰域。通常，這個鄰域等于用于局部化該特征的鄰域，但不一定是這種情況。在這種情況下，通常使用術語區域而不是興趣點。但是，要注意：當使用局部像素鄰域來描述興趣點時，特征提取過程不僅要确定興趣點的位置，還要确定該局部鄰域的大小和可能的形狀。特别是在幾何變形的情況下，這顯著地使過程複雜化，因為尺寸和形狀必須以不變（協變）方式确定。

在本次調查中，我們更傾向于使用術語局部特征，它可以是點，區域甚至是邊緣區段。

1.4理想局部特征的性質

局部特征通常具有空間範圍，即上述像素的局部鄰域。與經典分割相比，這可以是圖像的任何子集。區域邊界不必對應于圖像外觀的變化，例如顔色或紋理。而且，多個區域可能重疊，并且圖像的“不感興趣”部分（例如均勻區域）可以保持未被覆寫。

理想情況下，人們希望這些局部特征對應于語義上有意義的對象部分。然而，在實踐中，這是不可行的，因為這需要對場景内容進行進階解釋，這在早期階段是不可用的。相反，探測器直接根據基礎強度模式選擇局部特征。

好的特征應該具有以下屬性：

•可重複性：給定在不同觀看條件下拍攝的同一物體或場景的兩個圖像，在兩個圖像中都可以找到在兩個圖像中可見的場景部分上檢測到的高比例的特征。

•獨特性/資訊性：檢測到的特征背後的強度模式應顯示出很多變化，以便可以區分和比對特征。

•局部性：特征應該是局部的，以便降低遮擋的可能性，并允許在不同觀察條件下拍攝的兩個圖像之間的幾何和光度變形的簡單模型近似（例如，基于局部平面度假設）。

•數量：檢測到的要素數量應足夠大，以便即使在小物體上也能檢測到合理數量的要素。但是，最佳特征數量取決于應用程式。理想情況下，檢測到的特征的數量應該通過簡單直覺的門檻值在大範圍内适應。特征的密度應該反映圖像的資訊内容，以提供緊湊的圖像表示。

•準确度：檢測到的特征應在圖像位置，尺度和可能的形狀方面進行精确定位。

•效率：優選地，檢測新圖像中的特征應該允許對時間要求嚴格的應用。

可重複性，可以說是所有屬性中最重要的屬性，可以通過兩種不同的方式實作：通過不變性或穩健性。

•不變性：當預期出現大的變形時，首選方法是在可能的情況下以數學方式對這些進行模組化，然後開發不受這些數學變換影響的特征檢測方法。

•穩健性：在變形相對較小的情況下，通常會使特征檢測方法對這種變形不太敏感，即檢測的準确性可能會降低，但不會大幅降低。使用魯棒性解決的典型變形是圖像噪聲，離散化效應，壓縮僞像，模糊等。通常通過包括更強的魯棒性來克服用于獲得不變性的數學模型的幾何和光度偏差。

1.4.1讨論

顯然，這些不同特性的重要性取決于實際的應用和設定，并且需要做出妥協。

在所有應用場景中都需要可重複性，它直接取決于其他屬性，如不變性，魯棒性，數量等。根據應用的增加或減少它們可能會導緻更高的可重複性。

獨特性和局部性是競争屬性，無法同時實作：特征越局部化，底層強度模式中可用資訊越少，正确比對它就越難，特别是在資料庫應用程式中，有許多候選特征需要比對至。另一方面，在平面物體和/或純旋轉相機的情況下（例如，在圖像拼接應用中），圖像通過全局單應性相關，并且沒有遮擋或深度不連續的問題。在這些條件下，可以毫無問題地增加局部特征的大小，進而産生更高的獨特性。

類似地，增加的不變性水準通常導緻獨特性降低，因為一些圖像測量用于提升變換的自由度。類似的規則适用于魯棒性與獨特性，因為通常忽略一些資訊（被視為噪聲）以實作穩健性。是以，對于給定應用程式所需的不變性或穩健性水準有一個清晰的想法是很重要的。很難同時實作高不變性和魯棒性，并且不适應應用的不變性可能對結果産生負面影響。

精确度在來自運動應用的寬基線比對，配準和結構中尤其重要，其中需要精确對應以例如估計對極幾何或校準相機設定。

數量在某些類級對象或場景識别方法中特别有用，其中密集地覆寫感興趣的對象是至關重要的。另一方面，大多數情況下，大量特征對計算時間産生負面影響，應保持在限制範圍内。穩健性對于對象類識别也是必不可少的，因為不可能在數學上對類内變化進行模組化，是以不可能完全不變。對于這些應用，準确的局部化不太重要。通過具有額外的魯棒描述符，可以抵消特征檢測器的不準确定位的影響，直到某一點，這産生了不受小定位誤差影響的特征向量。

1.5全局與局部特征

局部不變特征不僅允許在檢視條件，遮擋和圖像混亂（寬基線比對）的大變化的情況下找到對應關系，而且還産生用于圖像檢索和對象或場景識别任務的圖像内容的有趣描述（兩者都是對于特定對象和類别）。為了将其置于上下文中，我們簡要總結了一些計算圖像表示的替代政策，包括全局特征，圖像片段以及特征的詳盡和随機抽樣。

1.5.1全局特征

在圖像檢索領域，已經提出了許多全局特征來描述圖像内容，其中顔色直方圖及其變化作為典型示例[237]。這種方法效果令人驚訝，至少對于具有獨特顔色的圖像，隻要它是使用者感興趣的整個圖像的整體構圖，而不是前景對象。實際上，全局特征無法區分前景和背景，并将來自兩個部分的資訊混合在一起。

全局特征也被用于對象識别，進而産生了第一種基于外觀的方法來解決這一具有挑戰性的問題。 Turk和Pentland [245]以及後來的Murase和Nayar [160]提出計算一組模型圖像的主成分分析，并将投影用作前幾個主成分作為描述符。與之前嘗試的基于幾何的純方法相比，新穎的基于外觀的方法的結果是驚人的。可以突然識别出全新的自然物體。然而，基于全局描述，圖像混亂和遮擋再次形成主要問題，将系統的有用性限制于具有幹淨背景的情況或者可以分割對象的情況，例如，依賴于運動資訊。

1.5.2圖像分段

克服全局特征的限制的方法是将圖像分割成有限數量的區域或片段，每個這樣的區域對應于單個對象或其一部分。這種方法最著名的例子是[31]中提出的blobworld系統，它根據顔色和紋理對圖像進行分割，然後在資料庫中搜尋具有相似“圖像斑點”的圖像。基于紋理分割的示例是廣泛的[208]中描述的基線比對工作。

然而，這引起了雞與蛋的問題，因為圖像分割本身是一項非常具有挑戰性的任務，這通常需要對圖像内容有高層次的了解。對于通用對象，顔色和紋理提示不足以獲得有意義的分割。

1.5.3采樣特征

處理全局特征或圖像分割遇到的問題的方法是在每個位置和比例下詳盡地對圖像的不同子部分進行采樣。對于每個這樣的圖像子部分，然後可以計算全局特征。該方法也稱為基于滑動視窗的方法。它在人臉檢測方面特别受歡迎，但也被用于識别特定對象或特定對象類，如行人或汽車。

通過關注圖像的子部分，這些方法能夠在查詢和模型之間找到相似之處，盡管背景會發生變化，即使對象僅占整個圖像區域的一小部分。在缺點方面，他們仍然無法應對部分遮擋，并且允許的形狀可變性小于基于局部特征的方法可行的形狀可變性。然而，到目前為止，最大的缺點是這種方法的效率低下。必須分析圖像的每個子部分，進而為每個圖像生成數千甚至數百個特征。這需要極其有效的方法，這些方法顯著限制了可能的應用範圍。

為了克服複雜性問題，使用圖像塊的更稀疏的固定網格采樣（例如，[30,62,246,257]）。然而，難以實作這些特征的幾何變形的不變性。該方法可以容忍由于在可能的位置，尺度，姿勢等上進行密集采樣而導緻的一些變形，但是各個特征不是不變的。這種方法的一個例子是多尺度興趣點。是以，當目标是找到圖像之間的精确對應時，不能使用它們。但是，對于某些應用，例如場景分類或紋理識别，它們可能是足夠的。在[62]中，在場景分類工作的背景下，使用固定的更新檔網格而不是以興趣點為中心的更新檔報告更好的結果。這可以通過密集覆寫以及在固定網格方法中也考慮均勻區域（例如，天空）的事實來解釋，這使得表示更加完整。這種密集的覆寫也在[66]中被利用，其中在特定對象識别的上下文中在一組局部不變特征之上使用固定的更新檔網格，其中後者提供一組初始對應，然後引導為前者建立通信。

類似地，不是使用固定的貼片網格，也可以使用圖像塊的随機采樣（例如，[97,132,169]）。這使得斑塊的數量，尺度或形狀的範圍以及它們的空間分布具有更大的靈活性。基于随機圖像塊，在[132]中示出了良好的場景識别結果。與固定網格采樣的情況一樣，這可以通過忽略特征的定位屬性的密集覆寫來解釋。随機更新檔實際上是密集更新檔的子集，主要用于降低複雜性。它們的可重複性很差，是以它們作為正常特征的補充而不是作為獨立的方法更好地工作。

最後，為了克服複雜性問題，同時仍然提供比随機定位更好的大量特征[140,146]，提出從邊緣均勻地采樣特征。這被證明對于處理由邊和曲線很好地表示的線性物體是有用的。

1.6本次調查概述

本調查文章由兩部分組成。首先，在第2節中，我們回顧了文獻中的局部不變特征檢測器，從計算機視覺的早期階段到最近的演變。接下來，我們将更詳細地描述一些標明的代表性方法。我們基于圖像中提取的特征類型以相對直覺的方式構造方法。這樣做，我們區分角點檢測器（第3節），斑點檢測器（第4節）和區域檢測器（第5節）。此外，我們添加了一個關于各種探測器的部分，這些探測器是以計算效率的方式設計的（第6節）。有了這種結構，我們希望讀者能夠輕松找到對他/她的應用最有用的探測器類型。我們通過對不同方法的定性比較和對未來工作的讨論來結束調查（第7節）。

對于那些不熟悉局部不變特征檢測器的新手讀者，我們建議首先跳過第2節。本節主要是為更進階的讀者添加的，以進一步了解這個領域是如何演變的，最重要的趨勢是什麼，并為早期的工作添加指針。

2 文獻中的局部特征

在本節中，我們概述了文獻中提出的局部特征檢測器，從圖像處理和模式識别的早期開始到現在的最新技術。

2.1簡介

關于局部特征檢測的文獻很多，可以追溯到1954年，當時Attneave [6]首次觀察到形狀資訊集中在具有高曲率的主要點上。不可能較長的描述50多年研究的每一項貢獻。相反，我們提供了文獻的指針，感興趣的讀者可以發現更多。本部分的主要目标是讓讀者了解所提出的各種好主意，特别是在網際網路時代之前。很多時候，這些被忽視然後重新發明。我們希望對所有為目前最新技術做出貢獻的研究人員給予适當的信任。

2.1.1局部特征的早期工作

重要的是要提到這個研究領域的開端以及在觀察角點和交彙點在視覺識别中的重要性之後出現的第一批出版物[6]（見圖1.1）。從那以後，已經提出了大量算法來提取在數字形狀上計算的各種函數的極值處的興趣點。而且，早期在圖像處理和視覺模式識别領域中已經了解，直線和直角的交叉點是人造結構的強烈訓示。這些特征已經用于線描圖像[72]和光子學[149]的第一系列應用中。 Rosenfeld [191]以及Duda和Hart [58]及其後期版本的數字圖像處理專着的第一部專着有助于建立一個完善的理論基礎領域。

2.1.2概述

我們确定了許多重要的研究方向，并相應地建構了本節的各個小節。首先，許多作者研究了彎曲輪廓的曲率。他們的工作在2.2節中描述。其他人直接分析圖像強度，例如，基于衍生物或具有高方差的區域。這是第2.3節的主題。另一項研究受到人類視覺系統的啟發，旨在重制人類大腦的過程 - 見2.4節。第2.5節讨論了側重于顔色資訊利用的方法，而第2.6節描述了基于模型的方法。最近，存在一種趨勢，即具有針對各種幾何變換的不變性的特征檢測，包括多尺度方法和尺度或者不變的方法。這些将在第2.7節中讨論。在2.8節中，我們關注基于分段的方法，第2.9節描述了基于機器學習技術的方法。最後，第2.10節概述了文獻中提出的不同評估和比較方案。

2.2基于輪廓曲率的方法

第一類興趣點檢測器是基于輪廓曲率的方法。最初，這些主要應用于線條圖，分段恒定區和cad-cam圖像而不是自然場景。重點尤其是點定位的準确性。它們在20世紀70年代末和1980年代的大部分時間裡最受歡迎。

2.2.1高曲率點

輪廓交叉點和交叉點通常會導緻雙向信号變化。是以，檢測特征的良好政策包括沿高輪廓的輪廓提取點。模拟曲線的曲率定義為機關切向量相對于弧長變化的速率。輪廓通常以點鍊編碼或使用樣條以參數形式表示。

已經開發了幾種技術，包括檢測和連結邊緣，以便通過分析鍊碼[205]，找到曲率的最大值[108,136,152]，方向的變化[83]或變化來找到鍊中的角。外觀[42]。其他人避免連結邊緣，而是尋找曲率的最大值[254]或在漸變大的地方改變方向[104]。

在[193,195,196,197]中提出了幾種基于灰階梯度和數字曲線角度變化檢測邊緣的方法。用于線繪圖像的其他解決方案包括用于檢測鍊編碼平面曲線中的角的方法[73,74]。在這些工作中，一個點的角度的度量是基于沿鍊的連續段位置之間的平均角度差異。

特征提取的一種通用方法是直接通過角度或角點檢測來檢測主要點，使用各種方案來近似離散曲率，例如餘弦[192,193]或局部曲率[18,74]，其将角定義為平均值的不連續性曲線斜率。其他參數表示如B樣條曲線通常用于渲染計算機圖形，壓縮和編碼，CAD-CAM系統以及曲線拟合和形狀描述[175]中的曲線。在[108]中，三次多項式與曲線相關，并且在這種曲線中檢測到不連續性以定位興趣點。在[85]中使用線圖像的樣條近似與動态程式設計技術結合以找到樣條的結。 [164]中提出了線圖的僞編碼和獲得興趣點的複雜矢量圖。

在[207]中，基于每個點處相對于其直接鄰居的局部離散曲率的疊代平均，在最大全局曲率處計算主導點。在[3]中，基于與在鍊碼上計算的樣本協方差矩陣的特征值特征向量結構相關聯的幾何和統計特性來定義切向偏差和離散曲線的曲率。另一種方法是獲得數字曲線的分段線性多邊形近似，受到對品質的限制[60,174,176]。實際上，在[174]中已經指出，具有可變斷點的分段線性多邊形近似将傾向于将頂點定位在實際角點處。這些點大緻對應于多邊形的相鄰線段的實際或外推交叉點。在[91]中探讨了類似的想法。最近，[95]估計了兩條線的參數與兩個與角點相鄰的區段。如果參數在統計上顯著不同，則聲明一個角。類似的方法是通過遵循圖像梯度最大值或最小值并找到邊緣圖中的間隙來識别邊緣交叉和交叉點[19]。

2.2.2處理規模

通過曲率估計的拐角檢測方法通常使用一組參數來消除輪廓噪聲并獲得給定比例的拐角，盡管可以在多個自然尺度處找到物體拐角。為了解決這個問題，一些探測器在一定範圍的參數内疊代地應用它們的算法，選擇出現在一組固定疊代中的點。點的穩定性和檢測所花費的時間與疊代次數密切相關。

在[207]中可以找到通過平均方案處理離散化和尺度問題的初步嘗試。 [5]中提出的曲率原始草圖（CPS）是沿着輪廓的曲率顯著變化的尺度空間表示。這些變化被分類為基本或複合基元，例如角，平滑關節，末端，曲柄，凸起和凹痕。在不同的比例下檢測特征，導緻對象輪廓的多尺度表示。在[151,152]和後來的[86]中探讨了類似的想法，其中進行曲率尺度空間分析以找到局部的曲線尺度。它們在曲線的光點上找到并以參數形式表示形狀。在[108,136]中也提出了基于B樣條的算法。一般的想法是将B樣條曲線固定到曲線上，然後直接從B樣條系數測量每個點周圍的曲率。

處理用于檢測數字閉合曲線上的主導點的比例的另一算法[238]由來自[193]的角度檢測過程激發。它們表明，主要點的檢測主要依賴于支撐區域的精确确定，而不是離散曲率的估計。首先，确定基于其局部屬性的每個點的支援區域。然後計算每個點的相對曲率[238]或局部對稱性[170]的量度。高斯濾波器是點檢測中最常用的濾波器。然而，如果高斯濾波器的比例太小，則結果可能包括一些備援點，這些備援點是不必要的細節，即由于噪聲。如果比例太大，則支撐區域較小的點将趨于平滑。為了解決固定尺度高斯濾波中存在的問題，在[4,181]中提出了基于多尺度離散曲率表示和搜尋的尺度空間過程。該方案基于穩定性标準，該标準指出拐角的存在必須與在大多數尺度下可觀察到的曲率最大值一緻。在[199]中研究了曲線的自然尺度，以避免在整個尺度範圍内曲線的窮舉表示。在[119,120]中還提出了一種成功的具有理論公式的高斯濾波器選擇機制。

在[264]中，提出了一種用于臨界點檢測的非線性算法。他們建立了一套設計點檢測算法的标準，以克服曲率近似和高斯濾波引起的問題。邊界平滑的另一種方法是基于曲率估計的模拟退火[233]。在[152]中，角點位于邊緣的絕對曲率的最大值處。通過多個曲率比例級别跟蹤角點以改善定位。 Chang和Horng [33]提出了一種使用巢移動平均濾波器檢測角點的算法[33]。通過計算模糊圖像的差異并觀察高曲率點的偏移來在曲線上檢測角。可以在[125,199,200]中找到用于确定曲線的自然尺度的各種方法的更詳細分析。

2.2.3讨論

雖然理論上在模拟曲線上有很好的基礎，但在離散曲線的情況下，輪廓曲率計算的魯棒性較差[194,238]。在[259]中研究了數字曲率估計中可能的誤差源。

此外，上述探測器的目标不同于我們現在通常使用的探測器的目标。如果方法檢測到圓形形狀上的角點，交叉點處的多個角點等，則被認為是不利的。此時，使用了更加嚴格的興趣點/角點定義，其中僅對應于3D中的真實角點的點被認為是相關的。如今，在大多數實際的興趣點應用中，重點是穩健，穩定和獨特的點，無論它們是否與真正的角點相對應（另見我們之前在1.2節中的讨論）。

由于複雜性和魯棒性問題，最近（過去十年）該領域的活動較少，而直接基于圖像強度的方法引起了更多關注。

2.3基于強度的方法

基于圖像強度的方法僅具有弱假設并且通常适用于寬範圍的圖像。其中許多方法基于一階和二階灰階值導數，而其他方法則使用啟發式方法找到高方差區域。

2.3.1不同的方法

基于Hessian的方法。早期基于強度的探測器之一是由Beaude提出的基于旋轉不變的基于Hessian的探測器[16]。它探讨了強度表面的二階泰勒展開，尤其是Hessian矩陣（包含二階導數）。該矩陣的行列式達到圖像中類似blob的結構的最大值。有關此方法的更詳細說明，請參見第4.1節。它已在[57]和[266]中得到了擴充，其中興趣點位于連接配接拐角周圍的Hessian行列式的局部極值的曲線的過零點處。

類似地，可以通過計算圖像表面的高斯曲率，即圖像亮度中的鞍點來定位高曲率點。在[104]中，局部二次曲面與圖像強度函數無關。表面參數用于确定梯度大小和梯度方向的變化率。得到的檢測器使用由圖像梯度縮放的二階導數計算的等光線曲率，使其對噪聲更加魯棒。在[61,229]中提出了類似的想法。

[168,167,224]和後來的[83]中的詳細研究表明，[16,57,104,163,266]的探測器都對圖像執行相同的測量，并且根據基于标準的可靠性相對較低。關于局部化精度。然而，當其他特征屬性變得更加重要時，Hessian矩陣的軌迹和行列式在後來成功地用于規模和興趣點檢測器[121,143]的不變擴充。

基于梯度的方法。基于fitortorder導數的局部特征檢測也用于各種應用中。在移動機器人導航的背景下[154,155,156]首次介紹了在方向方差測量的局部最大值處傳回點的角點檢測器。它是[41]中探讨的自相關函數的啟發式實作。所提出的角點檢測器調查圖像中的局部視窗并确定由于在各個方向上将視窗移動幾個像素而導緻的強度的平均變化。這個想法在[69,70]中進一步采用，并通過在所謂的第二矩矩陣中使用一階導數來形式化，以探索方向圖像強度變化的局部統計。該方法将角點候選檢測和定位分開，以提高子像素精度的精度，但代價是計算複雜度更高。 Harris和Stephens [84]通過對平均強度方差進行分析擴充，改進了Moravec [155]的方法。這導緻用Sobel導數和高斯視窗計算的第二矩矩陣。引入了基于該矩陣的行列式和軌迹的函數，其考慮了矩陣的特征值。這種探測器現在被廣泛稱為Harris探測器或Plessey探測器1，可能是最著名的興趣點探測器。它在3.2節中有更詳細的描述。它已經在許多論文中得到了擴充，例如，通過使用高斯導數[212]，一階和二階導數的組合[263]，或基于邊緣的第二矩矩陣[45]，但基本思想保持不變。

哈裡斯探測器也在[167]中進行了研究，并證明對于L結是最佳的。基于ffine圖像變形的假設，[228]中的分析得出結論：使用自相關矩陣的最小特征值作為角強度函數更友善。

最近，基于尺度空間理論[115,117]，第二矩矩陣也被采用來通過參數化高斯濾波器并根據比例對其進行歸一化來改變變化[59]。此外，哈裡斯探測器在[13,142,209]中使用拉普拉斯算子和第二矩矩陣的特征值在[13,142,209]中進行了擴充搜尋，其靈感來自于林德伯格的開創性工作[117,118]（參見章節） 3.4詳情）。

 來自[263]的方法執行對第二矩矩陣及其近似的計算的分析。通過僅計算兩個平滑圖像而不是先前所需的三個圖像來實作速度增加。關于如何從二階矩陣[84,101,167,228]計算角部強度已經提出了許多其他建議，并且這些已經被證明等同于各種矩陣規範[102,265]。在[102]中也提出了對具有多元像素的圖像的推廣。

在[242]中，Harris角點檢測器被擴充為在比純翻譯更一般的變換下産生穩定的特征。為此，在旋轉，縮放，直到完全變換的情況下研究自相關函數。

2.3.2強度變化

基于強度變化的不同類别的方法應用數學形态學來提取高曲率點。在[36]中研究了使用形态學開放算子檢測到的二進制圖像中形狀邊界曲率的零交叉。數學形态學也用于從[107,114,168]中的邊緣提取凸點和凹點。後來在[262]中提出了一種基于形态殘差和角點特征分析的并行算法。

另一種方法[173]表明，對于興趣點，小鄰域的中值與角點值明顯不同。是以，中心和中位數之間強度的差異給出了角點的強烈訓示。但是，此方法無法處理更複雜的連接配接或平滑邊緣。

根據[82]的早期工作，在[232]中引入了一個簡單而有效的探測器SUSAN。它計算鄰域内與中心像素強度相似的像素分數。然後可以通過對該度量進行門檻值處理并選擇局部最小值來對角進行定位。重心的位置用于消除誤報。有關SUSAN探測器的更多詳細資訊，請參見第3.3節。在[112,240]中探讨了類似的想法，其中考慮了圓上的像素并将其與貼片的中心進行比較。

最近，[203]提出了FAST檢測器。如果可以在點周圍的固定半徑圓周上找到一組足夠大的像素，使得這些像素比中心點明顯更亮（相對更暗），則将點分類為角。高效的分類基于決策樹。有關FAST的更多詳細資訊，請參見第6.3節。

在[127]中已經探索了局部徑向對稱來識别興趣點，并且還提出了其實時實作。在特征點提取的背景下，還研究了小波變換，并在[35,111,218]中基于多分辨率分析獲得了成功的結果。

2.3.3顯著性

顯著性的概念已被用于許多計算機視覺算法中。使用邊緣檢測器來提取對象描述的早期方法展現了邊緣比圖像的其他部分更顯著的想法。對顯著性的更明确的使用可以分為專注于低級局部特征的那些（例如，[215]），以及那些計算低級特征的顯著分組的那些（例如，[223]）;雖然有些方法在兩個層面都有效（例如，[147]）。

[211]中提出的技術基于特定圖像上的描述符向量的最大化。這些突出點是物體上幾乎唯一的點。是以，它們最大化了對象之間的差別。相關方法[253]識别用于自動生成統計形狀/外觀模型的顯著特征。該方法旨在選擇那些不太可能不比對的特征。從圖像生成的多元特征空間中的低密度區域被分類為非常突出。

在[79]中提出了一種基于區域内圖像強度的可變性或複雜性的理論上更成熟的方法。它受到視覺顯著性和資訊内容的推動，我們将在下一節進行修訂。 [79]的方法在局部信号複雜性或不可預測性方面決定了顯著性;更具體地說，建議使用局部屬性的Shannon熵。我們的想法是找出一個高度複雜的點鄰域作為顯著性或資訊内容的度量。該方法測量在點鄰域中計算的灰階值直方圖的熵的變化。搜尋擴充到比例[98]和ffine [99]參數化區域，進而提供區域鄰域的位置，比例和形狀。有關詳細讨論，請參閱第4.3節。

2.4生物學上可行的方法

前面部分提出的大多數系統主要關注興趣點定位的準确性。這在将參數曲線設定為控制點或圖像比對以恢複幾何圖形的背景下非常重要。相比之下，本節回顧的生物學合理方法主要是在人工智能和視覺識别的背景下提出的。他們中的大多數沒有特定的應用目的，他們的主要目标是模拟人類大腦的過程。在認知心理學和計算機視覺中已經讨論了許多人類視覺注意力或顯著性模型。然而，絕大多數隻是理論上的興趣，隻有少數在實際圖像上實施和測試。

2.4.1特征檢測作為預注意階段的一部分

歸因于Neisser [165]，人類早期視覺的主要模型之一是它包含一個預先注意力和注意力的階段。用于特征檢測的生物學上合理的方法通常指的是場景的某些部分在人類視覺系統的早期階段具有預先注意力的特征并且産生某種形式的即時響應的想法。在預注意階段，僅檢測到“彈出”特征。這些是圖像的局部區域，其呈現某種形式的空間不連續性。在關注階段，找到這些特征之間的關系，并進行分組。該模型廣泛影響計算機視覺社群（主要通過Marr [133]的工作），并反映在經典的計算機視覺方法 - 特征檢測和感覺分組，其次是模型比對和通信搜尋。在神經生理學和心理學研究取得進展之後，關注模型中的活動開始于20世紀80年代中期。

[87,198]提出了一種受神經生物學機制啟發的方法。他們使用類似過濾器的Gabor來計算信号的局部能量。該能量的一階和二階導數的最大值表示存在興趣點。在[131,186]中進一步探讨了使用來自不同尺度的Gabor濾波器響應的想法。 [182]中提出的方法是由心理實體實驗推動的。它們計算每個圖像像素在不同方向上的信号的對稱分數。然後選擇具有顯著對稱性的區域作為興趣點。

[96]中介紹了紋理識别理論和文本作為簡單局部結構（如斑點，角點，交彙點，線端等）的概念。他認為，關于紋理分布的統計資料在識别中起着重要作用。簡單文本的提取是在預注意階段和關注階段的關系建構中完成的。在[241]中提出了基于這些原理的特征整合理論。他将差別特征可以直接定位在特征圖中的析取案例和僅通過同時處理各種特征圖來提取特征的聯合案例區分開來。該模型通過結合自下而上和自上而下的感興趣測量來實作[32]。自下而上方法合并各種要素圖并查找有趣事件，而在自上而下過程中，利用有關目标的知識。

上述系統的主要目标是提供計算上可信的視覺注意模型。他們的興趣主要是理論。然而，一旦神經網絡等機器學習技術變得足夠成熟，這些系統就成為真實圖像實用解決方案的靈感來源。在[206]中，圖像處理操作符與注意力模型相結合，使其适用于更逼真的圖像。他将拉普拉斯高斯（LoG）運算符應用于特征映射，以對接收場進行模組化并增強有趣事件。在多個尺度上分析圖像。來自[78]的方法使用一組特征模闆并将它們與圖像相關聯以産生特征圖，然後用LoG增強特征圖。時間導數用于檢測移動物體。

Koch和Ullman [105]提出了一種非常具有視覺注意力的計算模型，它解釋了幾種心理實體現象。他們提出建立一組基于方向，顔色，視差和運動的地圖，并通過提取與其鄰域明顯不同的位置來模拟橫向抑制機制。然後将來自不同地圖的資訊合并到單個顯著圖中。使用赢家通吃（WTA）網絡使用金字塔政策以分層方式選擇地圖中的活動位置。 [105,241]中提出的假設首先在[34]中實作。在[49]中提出了類似的WTA模型實作。

在[223]中通過對諸如輪廓片段之類的局部資訊進行分組來研究諸如物體輪廓之類的全局顯著結構的提取，但是沒有涉及預注意視覺。

2.4.2非均勻分辨率和粗到細處理

在生物學上合理的模型中也研究了視網膜的非均勻分辨率和粗到細處理政策。這些主要通過尺度空間技術[9,10,187,255]進行模拟。然而，這些系統主要集中在工程和實時方面，而不是生物學上的合理性。在[27]中提出了在尺度空間中執行興趣點檢測的第一個系統之一。他們建立了一個拉普拉斯金字塔，用于粗略到特征選擇。模闆用于局部化LoG空間中的對象。模闆也被用于建構特征圖，然後通過權重和[39]進行組合。在[76]中設計的系統中使用了高斯（DoG）濾波器來加速計算。

在[81]中開發的生物啟發系統探索了使用基于DoG濾波器的邊界和興趣點檢測器以及設定高斯（DOOG）的方向性差來模拟V1中的簡單單元的想法。

[130]中提出的系統主要涉及[96]早期研究的紋理分類。特征提取部分使用基于定向核心（DoG和DOOG）的一組過濾器來生成類似于[81]的特征映射。下一階段對應于WTA機制，以抑制弱反應和模拟橫向抑制。最後，合并所有響應以檢測紋理邊界。

2.4.3空間事件檢測

穩健的統計資料也被用于檢測一組圖像基元中的異常值。這個想法是基于這樣的觀察：紋理可以用它們的統計資料來表示，違反這些統計資料的位置代表有趣的事件。例如，紋理基元在[148]中使用直方圖和RANSAC由許多屬性表示。

在[23]中使用了在不同尺度下從DoG的零交叉計算的特征圖的一階統計量。對于每個點，然後建構梯度方向的直方圖，并且将局部直方圖組合成全局的直方圖，其在精神上與更近的SIFT描述符[124,126]類似。然後将局部直方圖與全局直方圖進行比較以提供感興趣的度量。

在[172]中提出了另一種統計模型。它們測量距感興趣點的距離範圍内的邊緣密度，以建構邊緣分布直方圖。這個想法後來在[17]的形狀上下文描述符中使用。

在[92]中首先發現了僅對在其接受場内終止的邊緣和條形作出反應的細胞。在[87,260]中提出了一種基于視覺皮層中這種終止細胞模型的角點檢測算法。此外，基于顔色對手過程，以生物學上合理的方式将終止細胞的概念推廣到顔色通道[260]。

最新的視覺注意系統也受早期靈長類視覺系統的推動，見[94]。在局部空間不連續處檢測到的強度，顔色和方向的多尺度圖像特征被組合成單個地形顯著圖，并且神經網絡根據顯著性選擇位置。

可以在[162,221,222]中找到遵循來自[185]的模型的視覺皮層V1的其他視覺識别系統。這些方法試圖從視覺皮層實作簡單和複雜的細胞，這些細胞是多尺度Gabor和edgel檢測器，然後是局部最大值選擇方法。

2.5基于顔色的方法

顔色提供可用于特征提取過程的其他資訊。在上一節中回顧的幾種生物學上可行的方法使用顔色來建構顯著圖[93,94,105,260]。

鑒于哈裡斯角的高性能[84]，在[80,153]中引入了第二矩矩陣到RGB顔色空間的直接擴充，在Harris角提取過程中引入了顔色資訊。

在[250]中提出了基于顔色顯著性的突出點檢測。顯著點是顯著性圖的最大值，它表示點鄰域中顔色衍生物的獨特性。在相關工作[217]中，他們認為基于顔色的突出點的獨特性遠高于強度突出點。相鄰像素之間的顔色比用于獲得與照明無關的衍生物，這導緻對照明變化更穩健的顔色興趣點。基于顔色的大多數提出的方法是基于強度變化的方法的簡單擴充。顔色梯度通常用于增強或驗證強度變化，以便增加特征檢測器的穩定性，但像素強度仍然是特征檢測的主要資訊源。

2.6基于模型的方法

已經有一些嘗試通過基于差異幾何技術[82]或輪廓曲率[53]給出圖像中角點的形式表示來進行角點檢測的分析研究。例如，發現灰階角點可以作為最陡的灰階斜率線上的最大平面曲率點[82,188]。在[180]中研究了最佳函數的解析表達式，其中圖像的卷積在角點具有顯著的值。

[82,201]中提出的方法假設一個角類似于模糊的楔形，并通過将其設定為局部圖像來找到楔形的特征（振幅，角度和模糊）。在[188]中使用了多個多邊結的模型。假設結是由均勻區域形成的。參數化掩模用于确定強度結構，包括位置，方向，強度，模糊和邊緣。然後在檢測期間使殘餘物最小化。如果參數的良好初始化，精度很高。通過使用不同的模糊函數和初始化參數的方法，在[52]中改進了[188]中方法的效率。在[137,171]中也考慮了将角模型拟合到圖像資料。對于每個可能的線的交叉點，基于假設角的角度，方向和比例來構造模闆。然後将模闆與感興趣點的小鄰域中的圖像比對以驗證模型。在[128]中還描述了一種用于定位鞍點的基于模闆的方法，其中角點對應于鞍脊和鞍谷結構的交叉點。

在[113]中建立了一組輪廓點的模糊模式，并且角點檢測被表征為模式的模糊分類問題。

在[54,266]中提出了其他基于模型的方法，旨在提高基于Hessian的角點檢測器的檢測精度[16]。為此，分析了角點探測器對尺度空間理論模型的響應。據觀察，操作員在不同尺度上的響應沿着平分線移動。值得注意的是，這種觀察對于流行的Harris角點探測器也是有效的[84]。然後根據兩個響應計算拐角的确切位置，這兩個響應訓示平分線及其與拉普拉斯響應的過零點的交點。還使用了一個ffine變換來對圖像進行角點模型[22]。

在[77]中提出了一種不同的基于模型的方法。對于每種類型的特征，開發參數模型以表征圖像中的局部強度。将強度分布投影到一組正交Zernike矩生成多項式上用于估計模型參數并生成特征圖。

一種有趣的技術是通過使用廣義霍夫變換[51,226]來設定參數化模型來找到角點。在具有提取邊緣的圖像中，每個角點的參數空間中出現兩條線，并且峰值出現在交叉處。在[229]中考慮了模闆形式的真實角模型。應用了相似性度量和幾種替代比對方案。通過合并不同比對技術的輸出，提高了檢測和定位精度。

通常，在上述方法中僅考慮相對簡單的特征模型，并且對多邊形以外的圖像的推廣不明顯。複雜性也是這種方法的主要缺點。

2.7走向視點不變方法

到目前為止所描述的大多數探測器以單一尺度提取特征，由探測器的内部參數确定。在20世紀90年代末，随着局部特征越來越多地用于廣泛的基線比對和物體識别，人們越來越需要能夠應對尺度變化或甚至更普遍的視點變化的特征。

2.7.1多尺度方法

到目前為止所描述的大多數探測器以單一尺度提取特征，由探測器的内部參數确定。為了處理尺度變化，一種簡單的方法包括在一系列尺度上提取點并将所有這些點一起使用來表示圖像。這被稱為多尺度或多分辨率方法[48]。

在[59]中，提出了哈裡斯算子的尺度改編版本。在多個尺度上應用的Harris函數的局部最大值處檢測興趣點。由于使用歸一化導數，對于在不同尺度下檢測到的點，獲得了相當的角度測量強度，使得可以使用單個門檻值來拒絕所有尺度上較少的重要角點。這種适應規模的探測器顯著提高了尺度變化下興趣點的可重複性。另一方面，當給出關于兩個圖像之間的比例變化的先驗知識時，可以調整檢測器以便僅在所選擇的比例下提取興趣點。這産生了一組點，對于這些點，相應的定位和比例完美地反映了圖像之間的實際尺度變化。

一般而言，多尺度方法可以解決與特征密集采樣相同的問題（參見第1.5節）。它們不能很好地應對在一系列尺度上存在局部圖像結構的情況，這導緻在該範圍内的每個尺度處檢測到多個興趣點。是以，有許多點代表相同的結構，但具有稍微不同的定位和規模。大量的點增加了比對和識别的模糊性和計算複雜性。是以，在算法的進一步步驟中，需要用于選擇精确對應和驗證結果的有效方法。與來自運動應用的結構相比，這在識别的上下文中不是問題，其中單個點可以具有多個正确的比對。

2.7.2尺度不變的探測器

為了克服許多重疊檢測的問題，典型的多尺度方法，已經引入了尺度不變的方法。這些會自動确定局部特征的位置和比例。在這種情況下，特征通常是圓形區域。

許多現有方法在圖像的3D表示（x，y和scale）中搜尋最大值。這種在尺度空間中檢測局部特征的想法是在20世紀80年代早期引入的[47]。金字塔表示用低通濾波器計算。如果特征點處于周圍3D立方體的局部最大值并且其絕對值高于某個門檻值，則檢測該特征點。從那時起，已經提出了許多用于在尺度空間中選擇點的方法。現有方法主要不同于用于建立尺度空間表示的差異表達式。

在[116,120]中應用歸一化的LoG函數來建構尺度空間表示并搜尋3D最大值。通過用增加大小的高斯核的導數平滑高分辨率圖像來建構尺度空間表示。通過在比例空間中選擇局部最大值來執行自動比例選擇（參見第3.4節）。 LoG算子是圓對稱的。是以，旋轉自然是不變的。它也适用于檢測斑點狀結構。 [138]中的實驗評估顯示該特征非常适合自動比例選擇。 [24]也探讨了具有自動尺度選擇的興趣點探測器的尺度不變性。在[24]的組合架構中還提出了具有自動尺度選擇的角點檢測和斑點檢測，用于特征跟蹤，适應空間和時間尺寸變化。針對局部化而優化的興趣點标準不必與用于優化量表的興趣點标準相同。在[138]中，引入了尺度變化的角點檢測器，壓痕Harris-Laplace和尺度不變的斑點檢測器，創造了Hessian-Laplace。在這些方法中，位置和比例被疊代更新直到收斂[143]。更多細節可以在3.4和4.2節中找到。

在[126]中介紹了一種基于DoG濾波器建構的尺度空間金字塔中基于局部三維極值的目辨別别的高效算法。金字塔表示中的局部3D極值确定了興趣點的定位和尺度。該方法将在6.1節中進一步讨論。

2.7.3一個不變的方法

一個不變的不變量檢測器可以看作是尺度不變的檢測器對非均勻縮放和偏斜的概括，即在兩個正交方向上具有不同的縮放因子并且沒有保持角度。非均勻縮放不僅影響定位和尺度，還影響特征局部結構的形狀。是以，在顯著變換的情況下，尺度不變的檢測器失效。

在過去[50,90,204]中經常提到一種不變的特征檢測，比對和識别。在這裡，我們專注于處理不變興趣點檢測的方法。

一類方法涉及在ffine和透視變換下的定位精度。在[2]中提出了一種用于角定位的ffine不變算法，該算法建立在[54]中的觀察上。應用ffine形态多尺度分析來提取角點。角的演變由線性函數給出，該線性函數由檢測點與真實角的距離和距離形成。基于多尺度點沿平分線移動并且角度訓示真實位置的假設來計算拐角的位置和方向。然而，在自然場景中，角點可以采取任何形式的雙向信号變化，并且在實踐中，點的演變很少遵循平分線。是以，該方法的适用性限于類似多邊形的世界。

其他方法涉及同時檢測局部結構的位置，大小和形狀。 [247]中介紹的方法，鑄造的EBR（基于邊緣的區域）從哈裡斯角和附近的交叉邊開始。沿着邊緣移動的兩個點與Harris點一起确定平行四邊形。這些點停在平行四邊形所覆寫的一些光度量紋理到達極值的位置。該方法可以歸類為基于模型的方法，因為它在圖像中尋找特定的結構，盡管不像2.6節中描述的大多數方法那樣嚴格。更多細節可以在第3.5節中找到。在[12]中已經探索了類似的方案。

在[248]中也提出了基于強度的方法（IBR，基于強度的區域）。它始于提取局部強度極值。研究了從局部極值發出的光線的強度分布。在該地方的每條射線上放置一個标記，其中強度分布顯著變化。最後，将橢圓固定到由标記确定的區域。該方法将在5.1節中進一步讨論。在精神上有點相似的是[134]中提出并在下一節中描述的最大穩定極值區域或MSER。

在[121]中，在紋理形狀的背景下，引入了使用疊代方案找到類似blob的不變特征的方法。基于形狀适應固定點的不變性的該方法也用于估計來自雙目資料的表面取向（來自視差梯度的形狀）。該算法探索了第二矩矩陣的性質，并疊代估計局部模式的變形。它有效地估計了将更新檔投影到第二矩矩陣的特征值相等的幀的變換。這項工作為其他幾種不變的探測器提供了理論背景。

它與Harris角點檢測器結合使用，用于[13]中的比對，[109]中的手跟蹤，指紋識别[1]以及[208]中紋理區域的完整再現。在[13]中，使用Harris檢測器在幾個尺度上提取興趣點，然後使用來自[118]的疊代過程使區域的形狀适應于局部圖像結構。這允許為給定的固定尺度和位置提取ffine不變描述符 - 也就是說，點的比例和位置不是以不變的方式提取的。此外，多尺度Harris檢測器提取在相鄰尺度水準重複的許多點。這增加了不比對的可能性和複雜性。

[141]中引入的Harris-Laplace檢測器在[142,209]中通過[13,118,121]中提出的算法進行了歸一化。該檢測器具有相同的缺點，因為點的初始位置和比例不是以不變的方式提取的，盡管視圖之間的均勻比例變化由尺度不變的Harris-Laplace檢測器處理。

超越了變革。在[236]中引入了一種甚至超出了ffine變換并且對于投影變換不變的方案。然而，在局部範圍内，視角效應通常是可以忽略的。更具破壞性的是非平面性或非剛性變形的影響。這就是為什麼在[251]中基于等價類的定義提出了将局部特征的使用擴充到非平面表面的理論架構。然而，在實踐中，它們僅在直角上顯示結果。同時，通過在3D空間中嵌入圖像作為2D表面并利用測地距離，在[122]中開發了對于一般變形不變的方法。

2.8基于分段的方法

在特征提取的背景下也采用了分割技術。這些方法或者應用于找到均勻區域以定位其邊界上的連接配接點，或者直接将這些區域用作局部特征。對于通用特征提取問題，考慮了大多數基于低級像素分組的自下而上分割，盡管在某些特定任務中也可以應用自上而下的方法。盡管在分割問題的分析和形式化方面已經取得了重大進展，但在一般情況下仍然是一個未解決的問題。由于可能的特征點組的大搜尋空間，特别是在基于多個圖像提示的算法中，最佳分割通常是難以處理的。此外，即使對于同一圖像，多種最佳分割的定義也使得它難以解決。盡管如此，已經開發了幾種使用基于分割的興趣區域的系統，尤其是在檢索，比對和識别的背景下。

在計算機視覺的早期，圖像的多邊形近似在場景分析和醫學圖像分析中很受歡迎[9,25,58]。這些算法通常涉及邊緣檢測和後續邊緣跟蹤以進行區域識别。在[63,64]中，圖檔的頂點被定義為在三個或更多個分段區域中共同的那些點。它可以被視為使用分割提取興趣點的第一次嘗試之一。在[123]中使用将貼片簡單分割成兩個區域，并将區域與第一個角進行比較。不幸的是，這兩個區域的假設使得該方法的有用性受到限制。

另一組方法通過分割來表示真實圖像[129]。表現良好的圖像分割方法基于圖形切割，其中圖形表示連接配接的圖像像素[21,75,225,227]。這些方法允許以所需的細節水準獲得分割。盡管語義分割不可靠，但過度分割圖像可以産生許多與對象相關的區域。這種方法在[31,46]中進行了探索，它對圖像檢索問題特别有吸引力，其目标是通過具有相似屬性的區域找到相似的圖像。在[44]中，目标是建立關注均勻區域的興趣運算符，并計算這些區域的局部圖像描述符。使用基于核心的優化方法在多個特征空間上執行分割。這些區域可以單獨描述并用于識别，但它們的獨特性很低。這個方向最近引起了更多的興趣，一些方法使用自下而上的分割來提取感興趣區域或所謂的超像素[159,184]（另見第5.3節）。

通常，該表示的缺點在于分割結果仍然不穩定并且不足以處理大量圖像。在[134]中采用了成功解決這些問題的方法。使用分水嶺分割算法提取最大穩定極值區域（MSER）。該方法提取在寬範圍的門檻值内穩定的均勻強度區域。然後用具有相同形狀的橢圓替換這些區域，直到二階。最近，在[177]中引入了該方法的變體，其通過使用區域等照度來處理模糊區域邊界的問題。從某種意義上說，這種方法也類似于5.1節中描述的IBR方法，因為提取了非常相似的區域。有關MSER的更多詳細資訊，請參見第5.2節。該方法在[56,161]中進行了擴充，其中樹狀表示圖像中的分水嶺演化。

2.9基于機器學習的方法

機器學習領域的進步和可用計算能力的增加允許學習技術進入特征提取域。從訓練示例中學習局部特征的屬性然後使用該資訊來提取其他圖像中的特征的想法已經在視覺社群中存在了一段時間，但直到最近它才更廣泛地用于實際應用中。這些方法的成功歸因于這樣一個事實，即由分類器提供的效率變得比檢測精度更令人滿意。

在[37,55]中，訓練神經網絡以識别邊緣在一定程度上靠近圖像塊中心的角點。這适用于邊緣檢測後的圖像。 [244]中探讨了類似的想法，以提高數字曲線曲率測量的穩定性。

決策樹[178]也已成功用于興趣點檢測任務。在[202,203]中采用了在中心點和相鄰點[173,232,240]之間使用強度差異的想法。他們建構了一個決策樹，将點鄰域分為角點[203]。他們的工作主要關注的是測試許多可能差異中的一小部分的效率，并且樹經過教育訓練以優化它。 [203]的方法也擴充了LoG濾波器以檢測[112]中的多尺度點。他們使用基于個體興趣點在透視投影圖像上的可重複性的特征選擇技術。

[11]中描述了一種混合方法，它內建了遺傳算法和決策樹學習，以便提取識别複雜視覺概念的辨識特征。在[243]中，興趣點檢測被提出作為優化問題。他們使用基于遺傳程式設計的學習方法建構運算符以提取特征。學習興趣點算子的問題是在[103]中提出的，其中人眼運動被研究以找到固定點并訓練SVM分類器。

可以容易地将特征檢測問題概括為分類問題，并且對由一個或多個經典檢測器的組合提供的圖像示例訓練識别系統。任何機器學習方法都可以用于此。在[15]中使用Haar類似于使用積分圖像實作近似多尺度導數的濾波器。

自然延伸将使用Viola和Jones [252]的學習方案成功應用于人臉檢測，以便有效地對興趣點進行分類。基于機器學習的方法在定位，尺度和形狀估計方面的準确性通常低于通用檢測器[84,134,143]，但在物體識别的背景下，效率通常更有益。

2.10評估

鑒于衆多興趣點方法，早期就确定了對獨立績效評估的需求，并且在過去三十年中已經進行了許多實驗測試。使用了各種實驗架構和标準。 [205]中提出了基于鍊編碼曲線的角點檢測技術的第一次比較。在早期的論文中，通常隻進行目視檢查[104]。其他人進行了更多的定量評估，為單個圖像或小測試資料提供分數[57,266]。

角點探測器通常在人工生成的圖像上進行測試，這些圖像具有不同角度，長度，對比度，噪聲，模糊等不同類型的交叉點[41,179]。使用不同的光度和幾何變換來生成測試資料并評估[37,100,124,128]中的角點檢測器。這種方法簡化了評估過程，但無法對在實際應用場景中影響探測器性能的所有噪聲和變形進行模組化，是以性能結果往往過于樂觀。在[150]中采用了一種不同的方法。在那裡，性能比較被認為是一般的識别問題。角度在變換後的圖像上手動注釋，并且使用類似于檢測率和召回的一緻性和準确度等度量來評估檢測器。

在[88]中，從多面體對象中提取點集，并且使用投影不變量來計算對角的坐标的限制。他們估計從點坐标到該流形的距離的方差，與相機參數和物體姿态無關。非線性差分用于消除噪聲，[188]的方法比[104]中提出的方法更好。在[40]中也研究了使用平面不變量的想法來評估基于邊緣的角點探測器。特征的理論特性和定位精度也在[54,88,188,189,190]中基于參數L角進行了測試。模型來評估定位精度。此外，一個随機的角點生成器已被用于測試定位誤差[261]。

在[238]中評估了現有技術的基于曲線的探測器[3,74,193,197,207]。檢測到的主要點的品質的定量測量被定義為數字曲線和從興趣點近似的多邊形之間的逐點誤差。所報告的尺度調整方法的性能比其他方法更好。

重複率和資訊含量測量在[83]中介紹。如果它有兩個主要特性，它們會認為圖像中的一個點很有趣：獨特性和不變性。這意味着一個點應該與其直接鄰居區分開來。此外，關于預期的幾何和輻射畸變，興趣點的位置和選擇應該是不變的。從一組被調查的探測器[57,84,104,232,266]，Harris [84]和後來描述為SUSAN [232]的角點表現最佳。

在[215]中進行了基于重複性和由描述符的熵測量的資訊内容的幾個興趣點檢測器的系統評估。評估表明，修改後的Harris探測器可以在具有不同幾何變換的圖像對上提供最穩定的結果。在[218]中還評估了圖像檢索環境中的重複率和資訊含量，以表明基于小波的凸點提取算法優于Harris檢測器[84]。

在[43]中引入了角點數和精度标準的一緻性作為評估标準。這克服了有利于提供更多特征的檢測器的可重複性标準的問題。相反，引入的标準有利于提供相似數量的點的檢測器，而不管物體變換如何，即使圖像中的細節數量随着比例和分辨率而變化。将幾個檢測器[84,104,152,232]與為[152]的修改實作報告的最佳性能進行比較。

跟蹤和在跟蹤期間檢測到角的幀數用于比較[239,240]中的檢測器。同樣Bae等人。 [8]使用相關和比對來找到幀之間的重複角點，并将它們的數字與參考幀進行比較。

在[144,145]中已經對常用的特征檢測器和描述符進行了廣泛的評估。對不同幾何變換相關的平面場景的圖像對的可重複性計算了不同的現有技術規模和一個不變的檢測器。基于分水嶺分割的MSER區域檢測器[134]在各種結構化場景中表現出最高的準确性和穩定性。 Mikolajczyk和Tuytelaars [145]收集的資料成為評估興趣點探測器和描述符的标準基準.2

2見http://www.robots.ox.ac.uk/~vgg/research/a ffine。

最近，在[71,157,158]中，在跨越視點和照明條件比對3D對象特征的背景下，已經研究了來自[144,145]的特征檢測器和描述符的性能。基于交叉極線限制的方法自動提供地面實況對應。在這次評估中，[143]中介紹的ffi不變檢測器對視點變化最為穩健。來自[124]的DoG探測器在基于自然3D場景圖像的類似評估中被報道為最佳[256]。

還使用對象類别訓練資料在[99,139,235]的識别環境中評估特征檢測器，其中直接對應不能自動驗證。在[139]中測量了聚類特性和特征聚類的緊湊性。一些特定的識别任務，如行人檢測也被用來比較[220]中不同特征的表現。

3 角點探測器

在文獻中已經提出了大量的角點檢測器方法。為了引導讀者找到适合于給定應用的方法，已經基于基礎提取技術（例如，基于圖像導數，形态或幾何）以及基于不變性水準（翻譯）選擇了代表性方法。和旋轉，縮放或不變量。對于每個類别，我們描述了一些最佳性能和代表性方法的特征提取過程。

3.1簡介

重要的是要注意，這裡使用的術語角有一個特定的含義。檢測到的點對應于具有高曲率的2D圖像中的點。這些不一定對應于3D角的投影。在各種類型的連接配接處，高度紋理化的表面，遮擋邊界等處發現角。對于許多實際應用，這是足夠的，因為目标是具有一組穩定且可重複的特征。這些是否是真正的角點被認為是無關緊要的。

我們從基于衍生物的方法開始本節，Harris角點檢測器，在3.2節中描述。接下來，我們解釋SUSAN探測器的基本思想（第3.3節），這是一個基于高效形态學算子的方法的例子。然後我們繼續研究具有更高水準不變性的探測器，從Harris探測器的尺度和不變的擴充開始：Harris-Laplace和Harris-A ffine（3.4節）。接下來是第3.5節中對EdgeBased區域的讨論。最後，我們以簡短的讨論結束本節（第3.6節）。

3.2哈裡斯探測器

Harris和Stephens [84]提出的Harris探測器基于第二矩矩陣，也稱為自相關矩陣，通常用于特征檢測和描述局部圖像結構。該矩陣描述了點的局部鄰域中的梯度分布：

用具有尺度σD的高斯核（the differentiation scale 差異量表）計算局部圖像導數。然後通過用高斯尺度窗σI（積分尺度）平滑，在該點附近對導數進行平均。該矩陣的特征值表示在由σI定義的點周圍的鄰域中的兩個正交方向上的主要信号變化。基于該屬性，可以找到角點作為圖像中圖像信号在兩個方向上顯著變化的位置，或者換句話說，兩個特征值都很大。在實踐中，Harris建議對角度使用以下度量，它将兩個特征值組合在一個度量中并且計算成本更低：

用det（M）表示行列式和trace（M）表示矩陣M的迹，λ的典型值是0.04。由于矩陣的行列式等于其特征值的乘積并且迹線對應于和，是以很明顯，角度度量的高值對應于兩個特征值都很大。使用迹線添加第二項會降低操作員對強直線輪廓的響應。此外，基于行列式和軌迹計算該度量在計算上要比實際計算特征值要求低。這似乎現在不那麼重要了，但是在1988年，當計算資源仍然非常有限時，它很重要。

角提取過程的後續階段如圖3.1所示。給定原始圖像 I（x，y）（左上），第一步包括計算一階導數 Ix 和 Iy（左下）。接下來，擷取這些梯度圖像的産物（右下）。然後，用高斯核對圖像進行平滑處理。這些圖像包含Hessian矩陣的不同元素，然後按照公式（3.4）（右上角）将最終步驟組合成角度度量。

圖3.1第二矩矩陣和Harris角度測量的分量圖。

當用作興趣點檢測器時，使用非最大抑制來提取角度函數的局部最大值。這些點是平移和旋轉不變的。而且，它們在不同的照明條件下是穩定的。在對不同興趣點檢測器[214,215]的比較研究中，Harris角被證明是最可重複且最具資訊性的。另外，它們可以非常精确：子像素精度可以通過局部最大值附近的角度函數的二次近似來實作。

3.2.1讨論

圖3.2顯示了使用此度量檢測到的兩個通過旋轉相關的示例圖像的角點。請注意，找到的特征對應于圖像中顯示強度圖案中的二維變化的位置。這些可能對應于真正的“角點”，但探測器也可以在其他結構上，例如T形接頭，高曲率點等。這同樣适用于本章所述的所有其他角點探測器。當需要真正的角點時，基于模型的方法肯定更合适。

圖3.2旋轉圖像示例中檢測到的Harris角。

從圖中可以看出，在旋轉版本（右圖）中也發現了許多但并非所有在原始圖像中檢測到的特征（左）。換句話說，Harris檢測器在旋轉下的可重複性很高。另外，通常在提供資訊的位置處發現特征，即，強度模式具有高度可變性。這使得它們更具有辨識力，更容易引入通信。

3.3 SUSAN探測器

SUSAN角點探測器由Smith和Brady [232]引入，并依賴于一種不同的技術。不是評估可能對噪聲敏感且計算上更昂貴的局部梯度，而是使用形态學方法。

SUSAN代表最小的Univalue Segment Assimilating Nucleus，是一種通用的低級圖像處理技術，除角點檢測外，還用于邊緣檢測和噪聲抑制。基本原理如下（另見圖3.3）。對于圖像中的每個像素，我們考慮圍繞它的固定半徑的圓形鄰域。中心像素稱為核，其強度值用作參考。然後，該圓形鄰域内的所有其他像素被劃分為兩類，這取決于它們是否具有與核相似的“相似”強度值或“不同”強度值。通過這種方式，每個圖像點都與其相關聯，具有相似亮度的局部區域（鑄造的usan），其相對大小包含關于該點處圖像結構的重要資訊（也見圖3.3）。在圖像的或多或少的均勻部分中，具有相似亮度的局部區域幾乎覆寫整個圓形鄰域。在近邊緣處，該比率下降至50％，并且在拐角附近它進一步降低至約25％。是以，可以将角檢測為圖像中的位置，其中在局部鄰域中具有相似強度值的像素的數量達到局部最小值并且低于預定門檻值。為了使該方法更穩健，與核更接近的像素接收更高的權重。此外，一組規則用于抑制定性“壞”特征。然後從剩餘的候選者中選擇SUSAN（最小的使用者）的局部最小值。檢測到的SUSAN角的示例如圖3.4所示。

圖3.3通過将圓形鄰域分成“相似”（橙色）和“不相似”（藍色）區域來檢測SUSAN角。角點位于“相似”區域（usan）的相對面積達到低于特定門檻值的局部最小值的位置。

圖3.4為示例圖像找到的SUSAN角。

3.3.1讨論

所發現的特征顯示出這種（人工旋轉的）圖像的高重複性。但是，許多特征都位于邊緣結構上而不是角點上。對于這些點，定位對噪聲敏感。而且，基于邊緣的點也不太具有辨識力。

到目前為止描述的兩個檢測器僅在平移和旋轉下是不變的。這意味着僅當圖像通過平移和/或旋轉相關時才在相應位置處檢測角。在接下來的部分中，我們将描述具有更高水準的視點不變性的探測器，它可以承受尺度變化甚至變形。除了在變換圖像之間更好地比對之外，這些還具有在一系列尺度或形狀上檢測特征的優點。

或者，可以通過使用多尺度方法獲得該效果。在這種情況下，不是尺度不變的檢測器以不同的比例（即，在平滑和采樣之後）被施加到輸入圖像。

3.4 Harris-Laplace / A ffine

Mikolajczyk和Schmid開發了一種尺度不變的角點探測器，稱為Harris-Laplace，以及一種不變的角點探測器，被稱為Harris-A ffine [143]。

3.4.1哈裡斯 - 拉普拉斯

Harris-Laplace以多尺度Harris角點檢測器作為初始化來确定局部特征的位置。然後根據Lindeberg等人提出的比例選擇确定特征尺度。 [116,120]。我們的想法是選擇局部結構的特征尺度，給定的函數在尺度上達到極值（見圖3.5）。所選擇的比例在定量意義上是特征性的，因為它測量特征檢測算子和局部圖像結構之間存在最大相似性的比例。是以，區域的大小與每個點的圖像分辨率無關地選擇。正如Harris-Laplace所說，拉普拉斯算子用于比例選擇。這已被證明在[141]和[38]的實驗比較中給出了最好的結果。這些結果可以通過拉普拉斯核的圓形來解釋，當其尺度适應于局部圖像結構的尺度時，其作為比對濾波器[58]。

圖3.5特征尺度示例。頂行顯示使用不同縮放拍攝的圖像。底行顯示拉普拉斯算子對兩個對應點的比例的響應。左圖像和右圖像的特征尺度分别為10.1和3.9。比例的比率對應于兩個圖像之間的比例因子（2.5）。頂行中顯示區域的半徑等于所選比例的3倍。

圖3.6顯示了通過應用Harris-Laplace檢測器獲得的尺度不變的局部特征，用于通過尺度變化相關的同一場景的兩個圖像。為了不使圖像過載，僅顯示在兩個圖像中檢測到的一些相應區域。類似的選擇機制已用于本調查中顯示的所有後續圖像對。

圖3.6 Harris-Laplace探測器的相應特征。僅顯示相應特征的子集以避免混亂。圓圈表示特征的比例。

3.4.2 Harris-Affine

給定一組基于哈裡斯 - 拉普拉斯檢測方案在其特征尺度上提取的初始點，如Lindeberg等人提出的橢圓形區域的疊代估計。 [118,121]允許獲得一個不變的角點。這些是橢圓形，而不是圓形區域。該程式包括以下步驟：

（1）用Harris-Laplace檢測器檢測初始區域。

（2）用第二矩矩陣估計一個ffine形狀。

（3）将ffine區域标準化為圓形區域。

（4）重新檢測标準化圖像中的新位置和比例。

（5）如果新點的第二矩矩陣的特征值不相等，則轉到步驟2。

疊代如圖3.7所示。

圖3.7在存在ffine變換（頂部和底部行）的情況下疊代檢測一個不變的興趣點。第一列顯示用于初始化的點。連續列顯示疊代1,2,3和4之後的點和區域。注意，區域在4次疊代後會聚到相應的圖像區域。

第二矩矩陣的特征值（見等式（3.3））用于測量點鄰域的形狀。更确切地說，我們确定将點鄰域的強度模式投影到具有相等特征值的強度模式的變換。該變換由第二矩矩陣

的平方根給出。可以證明，如果兩個點xR和xL的鄰域通過變換相關，則它們的歸一化版本

通過簡單相關旋轉

[13,121]。該過程如圖3.8所示。在歸一化幀中計算的矩陣ML和MR也是旋轉矩陣。注意，旋轉保持圖像塊的特征值比，是以，可以僅确定旋轉因子的變形。

圖3.8說明使用第二矩矩陣進行歸一化的圖。用矩陣

變換圖像坐标。

假定第二矩矩陣的行列式大于零并且信噪比足夠大，則可以将ffine形狀的估計應用于任何初始點。是以，我們可以使用這種技術來估計Harris-Laplace探測器提供的初始區域的形狀。

Harris-A ffine探測器在同一場景的兩幅圖像上的輸出如圖3.9所示。除了比例之外，區域的形狀現在也适合于下面的強度圖案，以便盡管由視點改變引起的變形確定覆寫物體表面的相同部分。

圖3.9為平面場景（子集）的兩個不同視圖生成的Harris-A ffine區域。盡管有變形，但區域形狀明顯對應。

3.5基于邊緣的區域

獲得ffine不變性的更具啟發性的技術是利用通常可以在Harris角點附近找到的邊緣的幾何形狀。 Tuytelaars和Van Gool [247,249]提出了這種方法。這種方法背後的基本原理是邊緣通常是相當穩定的圖像特征，可以在一系列視點，比例和照明變化中檢測到。此外，通過利用邊緣幾何形狀，問題的次元可以顯著降低。實際上，如下所示，通過利用附近的邊緣幾何形狀，可以将所有可能的函數（或4D，一旦中心點固定）的6D搜尋問題簡化為一維問題。在實踐中，我們從Harris角點p（參見第3.2節）[84]和附近邊緣開始，用Canny邊緣檢測器[29]提取。為了提高尺度變化的穩健性，這些基本特征在多個尺度上提取。兩個點p1和p2沿着邊緣沿兩個方向遠離拐角，如圖3.10所示。它們的相對速度通過相對不變的參數l1和l2的相等性來耦合：

圖3.10基于邊緣的區域檢測器從角點p開始并利用附近的邊緣資訊。

使用si任意曲線參數（在兩個方向上，i = 1,2），

相對于si的絕對導數，abs（）絕對值和| ...決定因素。該條件規定接頭（p，p1）和邊緣之間以及接頭（p，p2）和邊緣之間的區域保持相同。從現在開始，我們隻是在引用l1 = l2時使用l。

對于每個值l，兩個點p1（l）和p2（l）連同角點p define平行四邊形Ω（l）：由矢量

和

跨越的平行四邊形（見圖3.10）。這産生了作為l的函數的一維平行四邊形區域。從該1D族中選擇一個（或幾個）平行四邊形，其中以下光度量的紋理通過極值。

圖3.11最初檢測到的基于邊緣的區域（子集）的區域形狀。

為n階，（p + q）th度矩在區域Ω（l）上計算，pg為該區域的重心，用強度 I（x，y）權重，q為平行四邊形的角與角點p相反（見圖3.10）。添加了這些公式中的第二個因子，以確定在強度組合下的不變性。

對于直邊，沿整個邊緣 l = 0。在這種情況下，組合公式（3.7）中給出的兩個光度量，并且兩個函數達到最小值的位置被用來确定參數s1和s2。而且，不是依賴于Harris角點檢測，而是可以使用直線交點。檢測到的區域示例如圖3.11所示。

3.5.1從平行四邊形到橢圓形

請注意，使用此方法找到的區域是平行四邊形。這與許多其他不變的檢測器（例如基于第二力矩矩的檢測器）形成對比，輸出形狀是橢圓形。為了比較的均勻性和便利性，有時将這些平行四邊形區域轉換成橢圓形是有利的。這可以通過選擇具有與最初檢測到的區域相同的十二階矩的橢圓來實作，這是一種非常協變的構造方法。使用此過程生成的橢圓區域如圖3.12所示。請注意，在此轉換過程中會丢失一些資訊，因為橢圓具有旋轉自由度，這是在原始表示中固定的。

圖3.12為兩個示例圖像生成的基于邊緣的區域，用省略号（子集）表示。

3.6讨論

本章描述了幾種角點檢測方法。如前所述，基于角點的特征不一定對應于3D世界中的真實角點。實際上，目标是提取穩定的特征，即使觀察條件發生變化也能很好地比對。

在許多獨立評估中，Harris探測器被認為是最穩定的探測器[83,138,215]。這種方法還有多尺度和規模以及不變的不變擴充。它是提供大量特征的便捷工具。或者，可以使用SUSAN檢測器。它更有效但對噪聲更敏感。第6.3節描述了使用機器學習技術的優化SUSAN檢測器。如2.2和2.3節中所讨論的，基于輪廓的角點檢測器适用于線描圖像，但在自然界中基于強度的方法基本上更穩定。

重要的是要注意，在局部平面區域的情況下，并且假設相機距離物體相對較遠，該變換模型僅适用于視點變化。然而，通常在物體邊界附近發現拐角，因為這是通常發生強度變化的地方。是以，區域提取過程通常基于對非平面結構的測量，例如包括對象的背景或另一個面。在這些情況下，視點不變性将受到限制，并且對背景變化的魯棒性也會受到影響。 [251]的工作表明了一種可能的出路。搜尋像EBR這樣的區域邊界的探測器受這種現象的影響較小。然後可以通過檢測到的輪廓界定測量區域，進而在許多實際情況中排除非平面部分。

從積極的方面來說，與其他類型的特征相比，角點通常更好地定位在圖像平面中。該定位精度對于某些應用是重要的，例如，用于相機校準或3D重建。然而，它們的尺度并沒有得到很好的定義，因為角度結構在很大範圍内變化很小。尺度選擇仍然适用于Harris探測器的原因是特征點不是精确地定位在角點邊緣而是略微位于角點内部結構體。

4斑點探測器

在角點之後，第二個最直覺的局部特征是blob。正如前一節中的情況一樣，我們選擇了一些在許多應用程式中證明成功的方法，并更詳細地描述了這些方法。這些方法通常為前一章讨論的方法提供補充特征。我們從基于衍生的方法開始：Hessian檢測器（第4.1節）。接下來，我們考慮這種方法的尺度不變和ffine不變擴充，創造了Hessian-Laplace和Hessian-A ffine（第4.2節）。最後，我們描述了顯著區域探測器，它基于強度機率分布的熵（第4.3節）。我們以簡短的讨論結束本章。

4.1 Hessian探測器

從圖像強度函數I（x）的泰勒展開發出的第二個2×2矩陣是Hessian矩陣：

與 Ixx 等二階高斯平滑圖像導數。這些通過描述等值面的法線如何變化來編碼形狀資訊。是以，它們捕獲局部圖像結構的重要屬性。特别有趣的是基于行列式的過濾器和該矩陣的軌迹。後者通常被稱為拉普拉斯算子。兩種測量的局部最大值可用于檢測圖像中的斑點狀結構[16]。

拉普拉斯算子是一個可分離的線性濾波器，可以用高斯差分濾波器（DoG）濾波器近似得到。拉普拉斯濾波器在斑點提取的背景下有一個主要缺點。通常在輪廓或直邊附近發現局部最大值，其中信号變化僅在一個方向上[138]。這些最大值不太穩定，因為它們的定位對噪聲或相鄰紋理的微小變化更敏感。在發現用于恢複圖像變換的對應關系的背景下，這主要是一個問題。解決這個問題的一種更複雜的方法是選擇一個位置和尺度，其中Hessian矩陣的軌迹和行列式同時呈現局部極值。

這産生了點，對于這些點，二階導數檢測兩個正交方向上的信号變化。在Harris探測器中探索了類似的想法，盡管隻有一階導數。

基于Hessian矩陣的特征檢測過程如圖4.1所示。給定原始圖像（左上），首先計算二階高斯平滑圖像導數（下部），然後将其組合成Hessian的行列式（右上）。

圖4.1 Hessian矩陣和Hessian行列式的分量圖。

圖4.2顯示了使用Hessian行列式檢測到的示例圖像對的興趣點。二階導數是對稱濾波器，是以它們在信号變化最顯著的點上給出了微弱的響應。是以，最大值定位在脊和斑點處，其中高斯核σD的大小與斑點結構的大小比對。

圖4.2以給定比例應用的Hessian檢測器輸出到具有旋轉（子集）的示例圖像。

4.2 Hessian-Laplace / Affine

Hessian-Laplace和Hessian-Affine探測器在精神上與他們基于Harris的對手Harris-Laplace和Harris-A ffine相似，

Hessian-Laplace和Hessian-A ffine探測器在精神上類似于他們的基于Harris的對應物Harris-Laplace和Harris-A ffine，在3.4節中描述，除了它們從Hessian的決定因素而不是Harris角點開始。這将方法轉換為視點不變的斑點檢測器。它們也是由Mikolajczyk和Schmid [143]提出的，并且是對他們基于Harris的對應物的補充，因為它們對圖像中的不同類型的特征作出反應。圖4.3和4.4分别顯示了尺度不變的Hessian-Laplace和一個不變的Hessian-A ffine的檢測結果的一個例子。

圖4.3應用于具有尺度變化（子集）的示例圖像的Hessian-Laplace檢測器的輸出。

圖4.4為示例場景（子集）的兩個視圖生成的Hessian-Affine區域。

與基于Harris的探測器一樣，使用Hessian-Laplace探測器找到的區域數量可以通過對Hessian行列式以及拉普拉斯響應進行門檻值處理來控制。通常，可以提取大量特征，進而實作圖像的良好覆寫，這是基于Hessian的檢測器的優點之一。

此外，該探測器還能以細微的比例響應一些角點結構（見圖4.1）。然而，傳回的位置比Harris點更适合于尺度估計，這是因為基于二階高斯導數使用類似的空間和尺度定位濾波器。

這項工作的可能擴充之一是探索Hessian矩陣，以使用由該矩陣的特征值編碼的其他形狀資訊。

4.3突出區域

Kadir和Brady [98]提出的顯著區域檢測器不是建立在圖像中的衍生資訊上，而是受資訊理論的啟發。這個特征檢測器背後的基本思想是尋找顯著特征，其中顯著性被定義為局部複雜性或不可預測性。它通過局部圖像區域内的強度值的機率分布函數的熵來測量。然而，僅僅考慮熵并不能準确地定位尺度上的特征，是以作為附加标準，特征的尺度空間中的自相異性被添加為額外的權重函數，有利于良好定位的複雜特征。檢測以兩個步驟進行：首先，在每個像素x處，在一定範圍的标度s上評估機率分布p（I）的熵H.

基于圍繞x的半徑s的圓形鄰域中的強度分布，經驗地估計機率分布p（I）。記錄熵的局部最大值。這些是候選顯著區域。其次，對于每個候選顯著區域，p（I）相對于标度s的導數的大小被計算為

然後将顯著性Y計算為

整個圖像上的候選顯著區域按其顯著性Y排序，并保留排名前P的區域。還提出了一種不變的檢測器版本，其中同時尋找尺度s上的局部最大值和形狀參數（取向θ和橢圓區域的主軸與短軸λ的比率）。但是，這嚴重減慢了計算速度。使用ffine不變版本的檢測區域示例如圖4.5所示。關于這種方法的更多細節可以在[99]中找到。

圖4.5為兩個示例圖像找到的與視點（子集）變化相關的顯著區域。

4.3.1讨論

由于權重因子測量了比例尺上的自相異性，是以探測器通常依賴于圖像中的斑點狀結構。這就是為什麼我們将該方法編目為blob檢測器的原因。但請注意，與其他斑點探測器相比，斑點的對比度對檢測沒有任何影響。

使用此方法找到的特征數量通常相對較低。與許多其他檢測器不同，由于基于熵的标準，所提取的特征的排名是有意義的，其中從最頂部的标準是最穩定的。該屬性已經在類别級對象識别的背景下進行了探索，特别是與分類器結合，其中複雜性在很大程度上取決于特征的數量（例如，[65]）。

4.4讨論

Blob檢測器已廣泛應用于不同的應用領域。除了上述方法之外，DoG（高斯的差異）[124]和SURF（加速的魯棒特征）[15]也可以編目為斑點檢測器。然而，由于他們的提取過程都集中在效率上，我們将他們的讨論推遲到第6節。

第5節中描述的一些方法也與blob檢測器具有共同的特征。特别是IBR（基于強度的區域）[248]和MSER（最大穩定的極值區域）[134]經常在圖像中找到斑點狀結構。然而，除了類似blob的結構外，它們還可以檢測到其他更不規則形狀的圖案，我們認為這些圖案具有獨特的性質。

Blob探測器在某種意義上與角探測器互補。是以，它們經常一起使用。通過使用多個互補特征檢測器，可以更好地覆寫圖像，并且性能變得更少地依賴于實際圖像内容。這已經被利用，例如在[110,140,​​231]中。

通常，類似斑點的結構往往不像角點那樣精确地定位在圖像平面中，盡管它們的比例和形狀比角點更好地定義。角點的位置可以由單個點識别，而斑點隻能通過其邊界來定位，這些邊界通常是不規則的。另一方面，角點的比例估計是不明确的，例如邊緣的交叉點存在于寬範圍的尺度上。然而，斑點的邊界，即使是不規則的，也可以很好地估計斑塊的大小，進而得到斑塊的規模。這使得它們不太适合于例如相機校準或3D重建。另一方面，對于物體識别，通常不需要精确的圖像定位，因為整個識别過程非常嘈雜。然而，諸如SIFT [124]的魯棒描述符可以比對這些特征。比對blob的比例允許然後假設對象的大小[140]，這使得它們在識别應用中非常有用。

最後，使用上述方法檢測到的特征數量差别很大。在圖像中通常隻有幾十個顯著區域，而Hessian-Laplace或Hessian-A方法允許提取多達數百或數千個特征。根據所使用的應用和算法，任何一種情況都是有利的。有關此問題的進一步讨論，請參閱第7節。

5 區域探測器

在本章中，我們讨論了許多直接或間接涉及圖像區域提取的特征檢測器。首先，我們描述基于強度的區域（第5.1節），然後是最大穩定的極值區域（第5.2節）。最後，我們讨論超像素（第5.3節）。這些區域由不同的方法提供，但側重于相似的圖像結構并具有相似的屬性。傳統上，超像素不被視為局部特征，并且對于觀看條件的變化具有有限的魯棒性，但是它們目前越來越多地用于圖像識别的背景中。是以，我們将所有上述特征包含在同一類别中。

5.1基于強度的區域

在這裡，我們描述了Tuytelaars和Van Gool [248,249]提出的檢測不變區域的方法。它從強度極值（在多個尺度上檢測）開始，以徑向方式探索它們周圍的圖像，描繪任意形狀的區域，然後用橢圓代替。

圖5.1基于強度的區域的建構。

更确切地說，給定局部極值強度，研究從極值發出的光線的強度函數（見圖5.1）。沿每條光線評估以下函數：

沿着光線的任意參數，I（t）是位置t處的強度，I0 是極值處的強度值，d 是為了防止被零除以而添加的小數字。該函數達到極值的點在幾何和線性光度變換（給定光線）下是不變的。通常，在強度突然增加或減少的位置達到最大值。函數 f（t）本身已經是不變的。然而，選擇點，此函數達到極值以進行穩健選擇。接下來，對應于來自相同局部極值的射線的 f（t）的最大值的所有點被連結以包圍一個不變的區域。這種通常不規則形狀的區域被具有相同形狀的橢圓取代，直到二階。這種橢圓形裝置是一種靈活的協變結構。使用此方法檢測到的區域示例如圖5.2所示。

圖5.2為graffiti圖像（子集）找到的基于強度的區域。

5.2極其穩定的極值區域

Matas等人提出了MSER或最大穩定極值區域。 [134]。最大穩定極值區域是适當門檻值化圖像的連通分量。 “極值”一詞指的是MSER内的所有像素具有比其外邊界上的所有像素更高（明亮的極值區域）或更低（暗極值區域）強度的特性。 MSER中的“最大穩定”描述了在門檻值選擇過程中優化的屬性。

該組極值區域E，即通過門檻值處理獲得的所有連通分量的集合，具有許多所需的特性。首先，圖像強度的單調變化使E保持不變。其次，連續幾何變換保留了拓撲 - 來自單個連通分量的像素被轉換為單個連通分量。最後，沒有比圖像中的像素更多的極值區域。是以，定義了一組區域，這些區域在廣泛的幾何和光度變化下保留，并且具有與例如在窄基線比對中常用的固定大小的方形視窗組相同的基數。

該組極值區域E的枚舉非常有效，在圖像像素的數量上幾乎是線性的。枚舉如下進行。首先，像素按強度排序。排序後，像素在圖像中标記（按遞減或遞增順序），并使用聯合算法[219]維護生長和合并連接配接元件及其區域的清單。在枚舉過程中，存儲作為強度函數的每個連通分量的面積。在極值區域中，“最大穩定”區域是對應于門檻值的門檻值，對于該門檻值，作為門檻值的相對變化的函數的相對面積變化處于局部最小值。換句話說，MSER是圖像的一部分，其中局部二值化在大範圍的門檻值上是穩定的。基于相對面積變化的MSER穩定性的定義對于變換（光度和幾何）都是不變的。

MSER的檢測與門檻值處理有關，因為每個極值區域是門檻值圖像的連通分量。然而，沒有尋求全局或“最佳”門檻值，測試所有門檻值并評估連接配接元件的穩定性。 MSER檢測器的輸出不是二值化圖像。對于圖像的某些部分，存在多個穩定門檻值，并且在這種情況下輸出嵌套子集的系統。

對于許多ffine不變檢測器，輸出形狀是橢圓形。但是，對MSER來說并非如此。檢測到的原始區域的例子如圖5.3所示。使用與上述IBR相同的程式，可以基于第一和第二形狀矩來設定橢圓。這導緻一組特征，如圖5.4所示。或者，可以根據沿區域輪廓[135]的一組穩定點來定義局部架構。這提供了另一種方案來使區域針對變形進行歸一化。

圖5.3使用MSER在gra ffi ti圖像（子集）上檢測到的區域。

圖5.4 graffiti圖像的最終MSER區域（子集）。

5.2.1讨論

MSER特征通常錨定在區域邊界上，是以與其他斑點檢測器相比，所得區域被精确定位。該方法最适用于可以很好地分割的結構化圖像 - 理想情況下，具有由強烈強度變化分隔的均勻區域的圖像。在缺點方面，它被發現對圖像模糊敏感[145]，這可以通過圖像模糊破壞穩定性标準的事實來解釋。該問題最近在[177]中得到了解決。該方法也相對較快。它是目前ffine不變特征探測器中最有效的。它主要用于識别或比對特定對象（例如，[166,231]），并且表現出較低的對象類識别性能[139]。

5.3基于分段的方法（超像素）

上述兩種方法提取了小區域，其強度模式相對于其周圍環境明顯突出。這讓人聯想到傳統的圖像分割技術。然而，圖像片段通常相對較大 - 實際上太大，不能用作局部特征。通過增加段的數量，可以獲得新的圖像表示，其中圖像段通常在大多數基于局部特征的應用程式中所需的位置和差別之間具有正确的交易（參見圖5.5）。 Mori等人提倡将這種低級像素分組為原子區域。 [159]和Ren和Malik [184]，他們将得到的原子區域稱為超像素。該術語指的是超像素可以被認為是原始圖像像素的更自然且在感覺上更有意義的替代。

圖5.5為示例圖像生成的超像素。

在[159,184]中，使用标準化切割從圖像中提取超像素[227]，但是這裡可以使用任何資料驅動的分割方法。基于歸一化切割的方法是經典的圖像分割算法，其利用成對亮度，顔色或紋理之間的像素的效率。為了強制執行局部性，在構造效率矩陣時僅考慮局部連接配接。超像素的一個例子如圖5.5所示。

與傳統的局部特征相比，通過構造超像素覆寫整個圖像并且不重疊。除了小的輪廓細節和不可見的輪廓之外，還可以使用多個分割來增加對象邊界與相鄰超像素之間的邊界重合的可能性。從圖像中提取的所有超像素具有相似的比例，是以該方法不是尺度不變的。已經提出了一種基于限制Delauney三角剖分的替代構造方法來獲得抗尺度變化的魯棒性[183]​​。

這些特征不太适合于比對或物體識别，因為這些區域是均勻的，是以不具有差別性，并且邊界提取的可重複性低。它們已經成功地用于模組化和利用中級視覺線索，例如曲線連續性，區域分組或用于語義圖像分割的圖形/地面組織。

5.4讨論

用上述方法檢測的局部特征通常代表均勻區域。雖然這對于檢測步驟是可接受的，但是可能對後面的描述和比對産生問題。實際上，同質區域缺乏獨特性。幸運的是，通過增加測量區域可以很容易地克服這個問題。換句話說，我們使用更大比例的區域來計算描述符，使得它還包含周圍圖像結構的一部分并捕獲區域邊界的形狀。這通常有助于增加辨識力并比對圖像之間的區域。

基于強度的區域和最大穩定的極值區域通常提供非常相似的特征。是以，這些方法不是互補的。當該區域是非凸的時，IBR可能會分解，但是對于區域輪廓中的小間隙，它更穩健。另一方面，MSER已被證明對[145]中的圖像模糊相對敏感，因為這直接影響穩定性标準。最近在[177]中解決了這個問題。然而，除了圖像模糊的情況之外，MSER在[145]中的可重複性方面得分最高。

如前所述，區域探測器通常會探測到類似blob的結構 - 盡管它們并不局限于這種類型的區域。結果，它們與斑點相比較不那麼互補。

基于區域的檢測器通常在其定位方面非常準确。它們特别适用于具有結構良好的場景的圖像，清晰描繪的區域，例如包含具有印刷表面的對象的圖像，建築物等。

盡管超像素與其他區域檢測器具有某些特征，但它們并不相同。它們不重疊，覆寫整個圖像。它們的可重複性來自分割方法的弱穩健性。最重要的是，它們是在不同的背景下開發的，其目的是通過僅關注超像素而不是分析所有像素來加速圖像分析。是以，超像素被認為是像素的更大等價物，可以通過單個強度或顔色值來描述第一近似值。這與局部特征形成對比，局部特征應該是獨特的，并且在理想情況下，是唯一可識别的。然而，使用區域邊界來建構獨特的描述符可以克服傳統興趣點所帶來的遮擋問題[68]。

6 高效的實施

到目前為止所描述的大多數特征檢測器涉及衍生物的計算或更複雜的測量，例如Harris檢測器的第二矩矩陣或凸區檢測器的熵。由于需要對包括位置，比例和形狀的特征坐标空間中的每個位置重複該步驟，這使得特征提取過程計算上昂貴，是以不适合于許多應用。

在本節中，我們描述了幾個以計算效率開發的特征檢測器作為主要目标之一。 DoGs探測器使用多個尺度空間金字塔近似拉普拉斯算子（參見第6.1節）。 SURF利用積分圖像來有效地計算Hessian矩陣的粗略近似（第6.2節）。 FAST僅使用決策樹評估有限數量的單個像素強度（參見第6.3節）。

6.1高斯的差異

在[47,76,81,124,126]中已經提出了高斯差分檢測器（簡稱DoG）。它是一個尺度不變的探測器，通過近似拉普拉斯L2xx + L2yy來提取圖像中的斑點（另見4.1節）。基于尺度空間理論[117,234,258]中的差分方程，可以證明拉普拉斯算子對應于尺度方向上圖像的導數。由于給定方向上相鄰點之間的差異近似于該方向上的導數，是以不同尺度的圖像之間的差異近似于相對于比例的導數。此外，高斯模糊通常用于生成各種尺度的圖像。是以，DoG圖像産生接近LoG的響應。然後避免在x和y方向上計算二階導數，如圖6.1所示。

圖6.1拉普拉斯算子可以近似為兩個高斯平滑圖像的差異。

圖6.2 DoG檢測方案概述。

實際的計算方案如圖6.2所示。使用高斯卷積掩模對圖像進行幾次平滑處理。這些平滑的版本成對組合以計算一組DoG blob響應圖。這些地圖中的局部最大值位于空間和具有非最大抑制的尺度上，并且位置進一步通過二次插值來确定。在幾個平滑步驟之後，可以對圖像進行二次采樣以處理下一個八度音階。

由于拉普拉斯算子對邊緣給出強響應，是以增加了額外的濾波步驟，其中計算完整的Hessian矩陣的特征值并評估它們的強度。這個過濾步驟不會對整個處理時間造成太大影響，因為隻需要有限數量的圖像位置和比例。在我們的示例圖像中檢測到的DoG特征如圖6.3所示。使用此方法可以處理每秒幾幀。

圖6.3使用DoG檢測器檢測到的局部特征。

6.2 SURF：加快了強大的特征

在實時人臉檢測的背景下，Viola和Jones提出使用積分圖像[252]，它允許非常快速地計算Haar小波或任何盒式卷積濾波器。首先，我們将描述積分圖像的基本概念。然後我們展示了如何使用這種技術來獲得Hessian矩陣的快速近似，如SURF（Speeded-Up Robust Features）[15]中所使用的那樣。

6.2.1積分圖像

在位置 x =（x，y）處輸入積分圖像 IΣ（x）表示由原點和x形成的矩形區域的輸入圖像I中的所有像素的總和。

圖6.4使用積分圖像，隻需四個操作即可計算出任意大小矩形區域的面積。

一旦計算出積分圖像，就需要四次加法來計算任何直立矩形區域的強度之和，如圖6.4所示。而且，計算時間與矩形區域的大小無關。

6.2.2 SURF

Bay等人提出了SURF或加速魯棒特征。 [15,14]。它是基于Hessian矩陣的尺度不變特征檢測器，例如Hessian-Laplace檢測器（參見4.2節）。然而，不是使用不同的度量來選擇位置和比例，而是使用Hessian的行列式。 Hessian矩陣大緻近似，使用一組boxtype濾波器，并且當從一個刻度到下一個刻度時不應用平滑。

圖6.5從左到右：分别在y方向和xy方向上的（離散和裁剪的）高斯二階偏導數; SURF的盒式濾波器近似于y方向和xy方向上的二階高斯偏導數。灰色區域等于零。

高斯分布是尺度空間分析的最佳選擇[7,67,106,117]，但在實踐中它們必須離散化（圖6.5左），這會引入僞像，特别是在小高斯核中。 SURF使用如圖6.5右半部分所示的盒式濾波器進一步推動近似。這些近似的二階高斯導數，可以使用積分圖像非常快速地進行評估，與其大小無關。令人驚訝的是，盡管有粗略的近似，特征檢測器的性能與離散高斯的結果相當。 Box濾波器可以産生高斯導數的足夠近似，因為處理鍊中存在許多其他重要噪聲源。

圖6.5中的9×9盒濾波器是具有σ= 1.2的高斯的近似值，并且表示嵌套比例（即，最高空間分辨率）。我們将用Dxx，Dyy和Dxy表示它們。應用于矩形區域的權重對于計算效率而言保持簡單，但是我們需要進一步平衡Hessian行列式的表達式中的相對權重與最小尺度的

，其中 | x | F是Frobenius範數。這産生了

Hessian的近似行列式表示位置x處的圖像中的斑點響應。這些響應存儲在blob響應圖中，并且使用二次插值檢測并重新定義局部最大值，與DoG一樣（參見第6.1節）。圖6.6顯示了我們的示例圖像的SURF檢測器的結果。據報道，SURF比DoG快五倍。

6.3快速：加速段測試的特征

圖6.6使用SURF檢測器檢測到的局部特征。

圖6.7 FAST檢測器檢查的像素圖示。

圖6.8使用FAST檢測器檢測到的局部特征。

由Rosten和Drummond在[202,203]中介紹的FAST探測器建立在先前在3.3節中讨論過的SUSAN探測器[232]上。 SUSAN計算鄰域内像素的分數，其強度與中心像素相似。 FAST進一步采用了這一想法，FAST僅對點周圍的固定半徑圓進行比較。測試标準通過考慮角點候選者周圍的16個像素的圓圈來操作（見圖6.7）。最初，将像素1和2與門檻值進行比較，然後将3和4以及最後的剩餘部分進行比較。像素被分類為暗，相似和更亮的子集。來自[178]的ID3算法用于選擇産生關于候選像素是否是拐角的最多資訊的像素。這是通過基于該像素的正角和負角分類響應的熵來測量的。該過程在所有三個子集上遞歸應用，并在子集的熵為零時終止。然後将由此分區産生的決策樹轉換為C代碼，建立一長串嵌套的if-then-else語句，将其編譯并用作角點檢測器。最後，非最大值抑制應用于圓中像素與中心像素之間的絕對內插補點之和。這樣可以得到一個非常高效的探測器，其速度比第6.1節中讨論的DoG探測器快30倍 - 雖然對于尺度變化不是不變的。我們的示例圖像中的FAST特征如圖6.8所示。

在[112]中提出了利用拉普拉斯函數通過尺度選擇對多尺度探測器的擴充。他們使用圓上像素和中心像素之間的灰階級差異來估計拉普拉斯算子，并僅保留此估計值最大的位置。這被證明足以産生大量的關鍵點候選者，在識别過程中不穩定的關鍵點候選者将被過濾掉。

6.4讨論

專注于效率的方法的最終目标通常是實時處理視訊流或處理大量資料。但是，在某種程度上，這是一個不斷變化的目标。計算能力随着時間的推移而迅速增加，但我們提取的特征數量或我們處理的資料庫的大小也是如此。此外，特征檢測不是最終目标，而隻是處理鍊中的第一步，其次是比對，跟蹤，對象識别等。在許多應用中，僅通過增加訓練樣例的數量就可以獲得顯著的性能提升。是以，效率是對于在設計或選擇特征檢測器時應考慮的不變性或魯棒性同等重要的主要特性之一。

回到第一點，特别是強大的圖形處理單元的出現開辟了新的可能性。除了通過平台無關的算法變化獲得加速的上述方法之外，通過利用可以用GPU實作的特殊結構和并行性，可以進一步加速。這些工作的一些例子可以在[89,230]中找到。在[28]和DoG檢測器中讨論了基于FPGA的Harris-A特征檢測器（見3.4節）的實作（參見[216]中的6.1節。這顯著減少了計算正常情況下所有特征所需的時間）。大小的圖像和視訊幀速率處理。盡管有這種新的趨勢，本節中描述的基本思想和方法仍然适用，因為它們非常通用且廣泛适用。

最後，更有效的方法通常需要付出代價。必須在效率與另一方面的準确性或可重複性之間建立交換。令人驚訝的是，DoG，SURF和FAST探測器與标準的，計算量更大的特征探測器相比具有競争力，并且可以為某些應用産生更好的結果。

7 讨論和結論

在我們調查的最後一部分中，我們概述了之前讨論過的方法，并突出了各自的優缺點。我們提供了一些關于如何使用這些特征的提示，以及如何為給定應用選擇适當的特征檢測器。最後，我們讨論一些未解決的問題和未來的研究方向。

7.1如何選擇特征檢測器？

下面，我們提供一些指南，說明用于特定應用的特征檢測器。這并沒有給出精确和明确的答案，但表明在搜尋合适的探測器時需要考慮的幾點。我們将讀者引用到1.4節，其中我們定義了這裡經常提到的局部特征的屬性。

首先，我們根據它們提取的圖像結構類型 - 角點，斑點或區域，在此調查中組織了特征檢測器。根據圖像内容，這些圖像結構中的一些比其他圖像結構更常見，是以對于不同的圖像類别，給定檢測器發現的特征的數量可能不同。如果事先對圖像内容知之甚少，通常建議組合不同的互補檢測器，即提取不同類型的特征。

其次，可以基于不變性水準來區分特征檢測器。有許多評價關注這一屬性[145,157,215]。人們可能總是試圖選擇可用的最進階别的不變性，以便盡可能多地補償變化。然而，随着增加的不變性水準，特征的辨識力降低。由于要判斷更多模式是等效的，是以需要估算更多參數，是以有更多可能的噪聲源。此外，特征檢測過程變得更加複雜，這既影響計算複雜性又影響可重複性。是以，一個基本的經驗法則是不再使用手邊應用程式真正需要的不變性。此外，如果預期的變換相對較小，通常最好依靠特征檢測和描述的穩健性而不是增加不變性水準。這也是為什麼特征檢測器對透視變換不變的原因很少。

本調查中讨論的所有探測器對平移和旋轉都是不變的。前者自動遵循使用局部特征。後者可以以有限的額外成本相對容易地實作。有時，不需要旋轉不變性 - 例如，如果所有圖像都是直立的并且物體也總是直立的（建築物，汽車等）。在這些情況下，旋轉不變檢測器可以與旋轉變量描述符組合，以確定良好的辨識力。在所有其他情況下，優選具有與檢測器至多相同的不變性水準的描述符。

最後，要考慮的探測器有許多定性屬性。根據應用場景，其中一些屬性比其他屬性更重要。在處理類别級别對象識别時，對小型外觀變化的魯棒性對于處理類内變異性非常重要。在為資料設定參數模型時，如相機校準或3D模組化，定位精度至關重要。對于需要處理大量資料的線上應用程式或應用程式，效率是最重要的标準。

7.2探測器摘要

表7.1概述了第3-6節中描述的特征檢測器的最重要屬性。

表7.1中的特征檢測器根據其不變性分為4組：旋轉，相似性，效果和透視。我們比較每組中的屬性。對于旋轉不變特征，Harris檢測器已經在許多測試中獲得了最高的可重複性和定位精度。 Hessian探測器發現不太局部化的斑點，需要計算二階導數。 SUSAN檢測器避免了衍生物的計算，并且以其效率而聞名，但是沒有平滑使得它更容易受到噪聲的影響。所有旋轉不變方法适用于僅使用特征的空間位置并且不期望大規模變化的應用，例如，來自運動或相機校準的結構。

在尺度不變組中，Harris-Laplace顯示出從Harris檢測器繼承的高重複性和定位精度[215]。然而，由于角點的多尺度特性，其尺度估計不太準确。 Hessian-Laplace比單一尺度版本更強大[145]。這是因為類似斑點的結構在角度上比角點更好地定位，并且檢測器從多尺度分析中受益，盡管它在圖像平面中不太精确地定位。 DoG和SURF探測器的設計是為了提高效率，而其他特性則略有不同。但是，對于大多數應用來說，它們仍然不僅僅是足夠的。在識别應用中，圖像的數量和良好覆寫率是至關重要的，其中定位精度不太重要。是以，Hessian-Laplace探測器已成功用于各種分類任務，盡管存在具有更高重複率的探測器。随機和密集采樣在這種情況下也提供了良好的結果，它确認了識别方法的覆寫要求[169]  - 盡管它們導緻的表示遠不如興趣點。 DoG檢測器在比對[26]和圖像檢索[124]方面表現非常出色，可能是由于空間定位和尺度估計精度之間的良好平衡。

請注意，對于刻度和ffine不變檢測器，角點和斑點檢測器之間的差異變得不那麼直言不諱，大多數檢測器檢測到兩種要素類型的混合 - 盡管它們仍然表現出對這兩種類型的偏好。

一個不變的Harris和Hessian遵循先前小組的觀察。顯著區域需要為比例或空間中的每個區域候選計算直方圖及其熵，這導緻大的計算成本[145]。從積極的方面來看，可以根據區域的複雜性或資訊内容對區域進行排名。一些應用程式利用它并且僅使用顯著區域的一小部分，同時仍然在例如識别中獲得良好性能[65]。最初，它們隻是尺度不變的，但後來它們被擴充到了一個不變的不變性。基于邊緣的區域聚焦在由邊緣連接配接形成的拐角處，這提供了良好的定位精度和可重複性，但是檢測到的特征的數量很小。

區域檢測器基于分割均勻區域的邊界的想法。基于強度的區域使用啟發式方法并找到與MSER類似的區域。超像素通常基于分割方法，其像标準化切割一樣在計算上是昂貴的。超像素的不變性水準主要取決于所使用的分割算法。與超像素相比，MSER僅選擇最穩定的區域，進而實作高重複性。由于使用了分水嶺分割算法，MSER也很有效。在預期會出現極端幾何變形的情況下，一個不變的檢測器是有益的。否則，它們的尺度不變對應物通常表現更好，特别是對于類别識别[139]。這可以從以下事實來了解：通常可以通過魯棒性而不是不變性來處理高達30度的視點變化。當從顯著不同的視點觀察相同的物體時，例如在比對或檢索的背景下，更加頻繁的變形。在類别識别的情況下，由于視點變化，對象外觀的變化主導變形，并且不變性通常帶來很小的改進。

7.3未來的工作

到目前為止，還沒有出現任何理論可以提供有關應從圖像中提取哪些特征或如何在不管應用的情況下對其進行采樣的指導。目前尚不清楚是否有可能對通用特征提取有更原則的理論。

由于存儲器要求變得不那麼成問題，是以提取各種類型的特征的強力方法（密集地覆寫圖像）似乎獲得了更好和更好的結果，例如，在對象類别識别中。然而，經常表明，無論系統的後續元件如何，仔細設計圖像測量都會帶來更好的性能。盡管在特征提取領域已經取得了很多進展 - 特别是在不變性水準方面，盡管使用局部特征建構了令人印象深刻的應用程式，但它們仍然存在許多缺點。我們想再次強調，對于不同的應用，不同的特征屬性可能很重要，并且方法的成功在很大程度上取決于适當的特征選擇。例如，在從不同觀點觀察到的場景登記等應用中，基本原理非常清晰，重複性，不變性以及1.4節中定義的特征數量都是至關重要的。在類别識别中，很難确定并測量可重複性，是以對小外觀變化的魯棒性更為重要。

7.3.1有限的重複性

盡管它們取得了成功，但局部特征檢測器的可重複性仍然非常有限，重複性分數低于50％是非常常見的（參見例如[145]）。這表明仍有改進的餘地。

7.3.2有限的穩健性

所有特征檢測器的主要缺點之一是對各種變換的弱魯棒性，特别是在估計局部尺度和形狀方面。

對于小區域，提取方法非常不穩定。它們為大型支撐區域産生穩定的尺度和形狀估計，但是其他影響如遮擋和背景雜亂開始影響結果。在各種尺度上提取穩定特征的方法對于各種應用将是非常有益的。

7.3.3缺乏語義解釋

在矢量量化之後，這些局部特征通常被稱為視覺詞或對象部分。然而，這是過于樂觀的，因為它們沒有任何語義含義。它們隻是局部圖像片段，其有時僅通過巧合地對應于有意義的對象部分（例如，汽車的輪子）。從純粹的自下而上的方法來看，這是人們所能想到的。然而，引入自上而下的資訊或關于世界的外部知識，可能會發現具有語義意義的對象部分。這可以是中間級别表示的形式，或者是從一組訓練資料中學習的新穎的類别特定的局部特征。

7.3.4自動選擇最佳特征檢測器

有一系列特征檢測器可供選擇，它們各有優缺點。哪一個表現最好不僅取決于應用程式，還取決于圖像内容。為了避免這個問題，研究人員經常并行使用幾個探測器。但是，這會對所需的計算時間産生負面影響。可以快速收集一些圖像統計資料并建議最合适的探測器的工具将成為時間關鍵應用的寶貴工具。

7.3.5補充特征

關注特征互補性的新圖像測量是另一個探索的方向。由于同時使用多個檢測器而産生的過度完整表示僅在有效的多類型特征檢測器的情況下才提供臨時解決方案。考慮到要處理的資料量的增加，互補檢測器或提供用于緊湊表示的互補特征的多類型檢測器的有效組合将更加有用。

7.3.6績效評估

到目前為止，最常用的評估措施是特征的可重複性。雖然這是最重要的屬性之一，但它不能保證給定應用程式的高性能。新标準應考慮1.4節中讨論的所有屬性。對于生成識别方法至關重要的另一個屬性也應該在一般性能評估中得到解決，即特征的重建能力。此外，還需要定義各種探測器的互補性測量。通常，評估在各種應用中提供良好性能預測的特征的更有原則和機率的方式将是有價值的。有足夠數量的測試資料強調特征的各個方面，并明确建立用于評估特征檢測器。将它組織在一個具有良好定義的測試和标準的共同評估架構中将是有用的。在給定具有特定輸入和輸出格式的特征檢測器的情況下執行廣泛評估的自動工具将是非常有用的。

7.4結論

如今，局部特征是一種流行的圖像描述工具。它們是寬基線比對和對象識别的标準表示，既适用于特定對象，也适用于類别級方案。

在本次調查中，我們概述了一些最廣泛使用的探測器，對各自的優缺點進行了定性評估，可以在章節和章節的最後找到。通過總結從計算機視覺早期到現在的特征檢測的進展，我們還在上下文中進行了局部特征檢測的工作。這些來自網際網路時代之前的早期作品往往被遺忘。然而，它們包含有價值的見解和想法，可以激發未來對局部特征的研究，并通過重新發明輪子避免浪費資源。文獻很多，我們隻能觸及不同的貢獻而不需要詳細說明。然而，我們希望提供正确的指針，以便那些感興趣的人有一個起點，如果他們願意，可以深入研究。

緻謝

作者要感謝卓越網PASCAL和佛蘭芒科學研究基金FWO的支援。這項工作也得到了EPSRC EP / F003420 / 1和VIDI-Video IST-2-045547項目的支援。

參考文獻

[1] A. Almansa and T. Lindeberg, “Fingerprint enhancement by shape adaptation of scale–space operators with automatic scale selection,” IEEE Transactions on Image Processing, vol. 9, no. 12, pp. 2027–2042, 2000.

[2] L.AlvarezandF.Morales,“Affinemorphologicalmultiscaleanalysisofcorners and multiple junctions,” International Journal of Computer Vision, vol. 2, no. 25, pp. 95–107, 1997.

[3] I. M. Anderson and J. C. Bezdek, “Curvature and tangential deflection of discrete arcs: A theory based on the commutator of scatter matrix pairs and its application to vertex detection in planar shape data,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 6, pp. 27–40, 1984.

[4] N. Ansari and E. J. Delp, “On detecting dominant points,” Pattern Recognition, vol. 24, no. 5, pp. 441–451, 1991.

[5] H. Asada and M. Brady, “The curvature primal sketch,” Pattern Analysis and Applications, vol. 8, no. 1, pp. 2–14, 1986.

[6] F. Attneave, “Some informational aspects of visual perception,” Psychological Review, vol. 61, pp. 183–193, 1954.

[7] J.Babaud,A.P.Witkin,M.Baudin,andR.O.Duda,“Uniquenessofthegaussian kernel for scale-space filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 1, pp. 26–33, 1986.

[8] S. C. Bae, I.-S. Kweon, and C. Don Yoo, “COP: A new corner detector,” Pattern Recognition Letters, vol. 23, no. 11, pp. 1349–1360, 2002.

[9] R. Bajcsy, “Computer identification of visual surface,” Computer and Graphics Image Processing, vol. 2, pp. 118–130, 1973.

[10] R. Bajcsy and D. A. Rosenthal, Visual and Conceptual Focus of Attention Structured Computer Vision. Academic Press, 1980.

[11] J. Bala, K. DeJong, J. Huang, H. Vafaie, and H. Wechsler, “Using learning to facilitate the evolution of features for recognizing visual concepts,” Evolutionary Computation, vol. 4, no. 3, pp. 297–311, 1996.

[12] J. Bauer, H. Bischof, A. Klaus, and K. Karner, “Robust and fully automated image registration using invariant features,” International Society for Photogrammetry and Remote Sensing, 2004.

[13] A. Baumberg, “Reliable feature matching across widely separated views,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 774–781, 2000.

[14] H. Bay, A. Ess, T. Tuytelaars, and L. Van Gool, “Speeded-up robust features (SURF),” International Journal on Computer Vision and Image Understanding, vol. 110, no. 3, pp. 346–359, 2008.

[15] H. Bay, T. Tuytelaars, and L. Van Gool, “SURF: Speeded up robust features,” in Proceedings of the European Conference on Computer Vision, pp. 404–417, 2006.

[16] P. R. Beaudet, “Rotationally invariant image operators,” in Proceedings of the International Joint Conference on Pattern Recognition, pp. 579–583, 1978.

[17] S. Belongie, J. Malik, and J. Puzicha,, “Shape context: A new descriptor for shape matching and object recognition,” in Proceedings of the Neural Information Processing Systems, pp. 831–837, 2000.

[18] H. L. Beus and S. S. H. Tiu, “An improved corner detection algorithm based on chain-coded plane curves,” Pattern Recognition, vol. 20, no. 3, pp. 291–296, 1987.

[19] D. J. Beymer, “Finding junctions using the image gradient,” in International Conference Computer Vision and Pattern Recognition, pp. 720–721, 1991.

[20] I. Biederman, “Recognition-by-components: A theory of human image understanding,” Psychological Review, vol. 2, no. 94, pp. 115–147, 1987.

[21] Y. Boykov and M.-P. Jolly, “Interactive graph cuts for optimal boundary & region segmentation of objects in N–D images,” in Proceedings of the International Conference on Computer Vision, vol. 1, pp. 105–112, 2001.

[22] P. Brand and R. Mohr, “Accuracy in image measure,” SPIE Conference on Videometrics III, vol. 2350, pp. 218–228, 1994.

[23] V. Brecher, R. Bonner, and C. Read, “A model of human preattentive visual detection of edge orientation anomalies,” in Proceedings of the SPIE Conference of Visual Information Processing: From Neurons to Chips, vol. 1473, pp. 39–51, 1991.

[24] L. Bretzner and T. Lindeberg, “Feature tracking with automatic selection of spatial scales,” Computer Vision and Image Understanding, vol. 71, no. 3, pp. 385–392, 1998.

[25] C. R. Brice and C. L. Fennema, “Scene analysis using regions,” Artificial Intelligence, vol. 1, pp. 205–226, 1970.

[26] M. Brown and D. Lowe, “Recognising panoramas,” in Proceedings of the International Conference on Computer Vision, pp. 1218–1227, 2003.

[27] P. J. Burt and E. H. Adelson, “The laplacian pyramid as a compact image code,” IEEE Transactions on Communications, vol. 9, no. 4, pp. 532–540, 1983.

[28] C. Cabani and W. J. MacLean, “Implementation of an affine-covariant feature detector in field-programmable gate arrays,” in Proceedings of the International Conference on Computer Vision Systems, 2007.

[29] J. Canny, “A computational approach to edge detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp. 679–698, 1986.

[30] P. Carbonetto, N. de Freitas, and K. Barnard, “A statistical model for general contextual object recognition,” in Proceedings of the European Conference on Computer Vision, part I, pp. 350–362, 2004.

[31] C. Carson, S. Belongie, S. Greenspan, and J. Malik, “Blobworld: Image segmentation using expectation-maximization and its application to image querying,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 8, pp. 1026–1038, 2002.

[32] K. R. Cave and J. M. Wolfe, “Modeling the role of parallel processing in visual search,” Cognitive Psychology, vol. 22, pp. 225–271, 1990.

[33] S. P. Chang and J. H. Horng, “Corner point detection using nest moving average,” Pattern Recognition, vol. 27, no. 11, pp. 1533–1537, 1994.

[34] D. Chapman, “Vision, instruction and action,” Technical Report AI-TR-1204, AI Laboratory, MIT, 1990.

[35] C.-H. Chen, J.-S. Lee, and Y.-N. Sun, “Wavelet transformation for gray-level corner detection,” Pattern Recognition, vol. 28, no. 6, pp. 853–861, 1995.

[36] M. Chen and P. Yan, “A multiscaling approach based on morphological filtering,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 1, no. 7, pp. 694–700, 1989.

[37] W.-C. Chen and P. Rockett, “Bayesian labelling of corners using a grey–level corner image mode,” in Proceedings of the International Conference on Image Processing, pp. 687–690, 1997.

[38] O. Chomat, V. Colin deVerdi`ere, D. Hall, and J. Crowley, “Local scale selection for gaussian based description techniques,” in Proceedings of the European Conference on Computer Vision, Dublin, Ireland, pp. 117–133, 2000.

[39] J. J. Clark and N. J. Ferrier, “Modal control of attentive vision system,” in Proceedings of the International Conference on Computer Vision, pp. 514–523, 1988.

[40] C. Coelho, A. Heller, J. L. Mundy, D. A. Forsyth, and A. Zisserman, An Experimental Evaluation of Projective Invariants. Cambridge, MA: MIT Press, 1992.

[41] J. Cooper, S. Venkatesh, and L. Kitchen, “The dissimilarity corner detectors,” International Conference on Advanced Robotics, pp. 1377–1382, 1991.

[42] J. Cooper, S. Venkatesh, and L. Kitchen, “Early jump-out corner detectors,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 15, no. 8, pp. 823–828, 1993.

[43] T. F. Cootes and C. Taylor, “Performance evaluation of corner detection algorithms under affine and similarity transforms,” in Proceedings of the British Machine Vision Conference, 2001.

[44] J. J. Corso and G. D. Hager, “Coherent regions for concise and stable image description,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 184–190, 2005.

[45] J. C. Cottier,, “Extraction et appariements robustes des points d’int´erˆet de deux images non etalonn´ees,” Technical Report, LIFIA-IMAG-INRIA, RhoneAlpes, 1994. [46] T. Cour and J. Shi, “Recognizing objects by piecing together the segmentation puzzle,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, 2007.

[47] J. L. Crowley and A. C. Parker, “A representation for shape based on peaks and ridges in the difference of low pass transform,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 6, no. 2, pp. 156–170, 1984.

[48] J. L. Crowley and A. C. Sanderson, “Multiple resolution representation and probabilisticmatchingof2Dgray–scaleshape,”IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 9, no. 1, pp. 113–121, 1987.

[49] S. M. Culhane and J. Tsotsos, “An attentional prototype for early vision,” in Proceedings of the European Conference on Computer Vision, pp. 551–560, 1992.

[50] D. Cyganski and J. A. Or, “Application of tensor theory to object recognition and orientation determination,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 7, pp. 662–673, 1985.

[51] E. R. Davies, “Application of the generalised hough transform to corner detection,” IEE Proceedings, vol. 135, no. 1, pp. 49–54, 1988.

[52] R. Deriche and T. Blaszka, “Recovering and characterizing image features using an efficient model-based approach,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 530–535, 1993.

[53] R. Deriche and G. Giraudon, “Accurate corner detection: An analytical study,” in Proceedings International Conference on Computer Vision, pp. 66– 70, 1990.

[54] R.DericheandG.Giraudon,“Acomputationalapproachforcornerandvertex detection,” International Journal of Computer Vision, vol. 10, no. 2, pp. 101– 124, 1993.

[55] P. Dias, A. Kassim, and V. Srinivasan, “A neural network based corner detection method,” in IEEE International Conference on Neural Networks, vol. 4, pp. 2116–2120, 1995.

[56] M. Donoser and H. Bischof, “Efficient maximally stable extremal region (MSER) tracking,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 553–560, 2006.

[57] L. Dreschler and H. Nagel, “Volumetric model and 3D-trajectory of a moving car derived from monocular TV-frame sequence of a street scene,” In Computer Graphics and Image Processing, vol. 20, pp. 199–228, 1982.

[58] R. Duda and P. Hart, Pattern Classification and Scene Analysis. Wiley– Interscience, 1973.

[59] Y. Dufournaud, C. Schmid, and R. Horaud, “Matching images with different resolutions,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 612–618, 2000.

[60] J. Dunham, “Optimum uniform piecewise linear approximation of planar curves,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 1, pp. 67–75, 1986.

[61] J. Q. Fang and T. S. Huang, “A corner finding algorithm for image analysis and registration,” in Proceedings of AAAI Conference, pp. 46–49, 1982.

[62] L. FeiFei and P. Perona, “A Bayesian hierarchical model for learning natural scene categories,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 524–531, 2005.

[63] F. Y. Feng and T. Pavlidis, “Finding ‘vertices’ in a picture,” Computer Graphics and Image Processing, vol. 2, pp. 103–117, 1973.

[64] F. Y. Feng and T. Pavlidis, “Decomposition of polygons into simpler components: Feature generation for syntactic pattern recognition,” IEEE Transactions on Computers, vol. C-24, 1975.

[65] R. Fergus, P. Perona, and A. Zisserman, “Object class recognition by unsupervised scale-invariant learning,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 264–271, 2003.

[66] V. Ferrari, T. Tuytelaars, and L. Van Gool, “Simultaneous object recognition and segmentation by image exploration,” in Proceedings of the European Conference on Computer Vision, pp. 40–54, 2004.

[67] L. M. J. Florack, B. M. ter Haar Romeny, J. J. Koenderink, and M. A. Viergever, “Scale and the differential structure of images,” Image and Vision Computing, vol. 10, pp. 376–388, 1992.

[68] P.-E. Forssen and D. Lowe, “Shape descriptors for maximally stable extremal regions,” in Proceedings of the International Conference on Computer Vision, pp. 59–73, 2007.

[69] W. F¨orstner, “A framework for low level feature extraction,” in Proceedings of the European Conference on Computer Vision, pp. 383–394, 1994.

[70] W. F¨orstner and E. G¨ulch, “A fast operator for detection and precise location of distinct points, corners and centres of circular features,” in Intercommission Conference on Fast Processing of Photogrammetric Data, pp. 281–305, 1987.

[71] F. Fraundorfer and H. Bischof, “Evaluation of local detectors on non-planar scenes,” in Proceedings of the Austrian Association for Pattern Recognition Workshop, pp. 125–132, 2004.

[72] H. Freeman, “A review of relevant problems in the processing of line-drawing data,” in Automatic Interpretation and Classification of Images, (A. Graselli, ed.), pp. 155–174, Academic Press, 1969.

[73] H. Freeman, “Computer processing of line drawing images,” Surveys, vol. 6, no. 1, pp. 57–97, 1974.

[74] H. Freeman and L. S. Davis, “A corner-finding algorithm for chain-coded curves,” IEEE Transactions on Computers, vol. 26, pp. 297–303, 1977.

[75] M. Galun, E. Sharon, R. Basri, and A. Brandt, “Texture segmentation by multiscale aggregation of filter responses and shape elements,” in Proceedings of the International Conference on Computer Vision, vol.2,pp.716–725,2003.

[76] P. Gaussier and J. P. Cocquerez, “Neural networks for complex scene recognition: Simulation of a visual system with several cortical areas,” in Proceedings of the International Joint Conference on Neural Networks, vol. 3, pp. 233–259, 1992.

[77] S. Ghosal and R. Mehrotra, “Zernike moment–based feature detectors,” in International Conference on Image Processing, pp. 934–938, 1994.

[78] G. J. Giefing, H. Janssen, and H. Mallot, “Saccadic object recognition with an active vision system,” in Proceedings of the European Conference on Artificial Intelligence, pp. 803–805, 1992.

[79] S. Gilles, Robust Description and Matching of Image. PhD thesis, University of Oxford, 1998.

[80] V. Gouet, P. Montesinos, R. Deriche, and D. Pel´e, “Evaluation de d´etecteurs de points d’int´erˆet pour la couleur,” in 12`eme Congr`es Francophone AFRIF– AFIA de Reconnaissance des Formes et Intelligence Artificielle, pp. 257–266, 2000.

[81] S. Grossberg, E. Mingolla, and D. Todorovic, “A neural network architecture for preattentive vision,” IEEE Transactions on Biomedical Engineering, vol. 36, pp. 65–84, 1989.

[82] A. Guidicci, “Corner characterization by differential geometry techniques,” Pattern Recognition Letters, vol. 8, no. 5, pp. 311–318, 1988.

[83] R. M. Haralick and L. G. Shapiro, Computer and Robot Vision. AddisonWesley, pp. 453–507, 1993.

[84] C. Harris and M. Stephens, “A combined corner and edge detector,” in Alvey Vision Conference, pp. 147–151, 1988.

[85] T. I. Hashimoto, S. Tsujimoto, and S. Arimoto, “Spline approximation of line images by modified dynamic programming,” Transactions of IECE of Japan, vol. J68, no. 2, pp. 169–176, 1985.

[86] X. C. He and N. H. C. Yung, “Curvature scale space corner detector with adaptive threshold and dynamic region of support,” in International Conference on Pattern Recognition, pp. 791–794, 2004.

[87] F. Heitger, L. Rosenthaler, R. von der Heydt, E. Peterhans, and O. Kubler, “Simulation of neural contour mechanisms: From simple to end-stopped cells,” Vision Research, vol. 32, no. 5, pp. 963–981, 1992.

[88] A. Heyden and K. Rohr, “Evaluation of corner extraction schemes using invariance method,” in Proceedings of the International Conference on Pattern Recognition, pp. 895–899, 1996.

[89] S. Heymann, K. Maller, A. Smolic, B. Froehlich, and T. Wiegand, “SIFT implementation and optimization for general-purpose GPU,” in Proceedings of the International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision, 2007.

[90] J. Hong and X. Tan, “A new approach to point pattern matching,” in Proceedings of the International Conference on Pattern Recognition, vol. 1, pp. 82–84, 1988.

[91] R. Horaud, T. Skordas, and F. Veillon, “Finding geometric and relational structures in an image,” in Proceedings of the European Conference on Computer Vision, pp. 374–384, 1990.

[92] D. Hubel and T. Wiesel, “Receptive fields, binocular interaction and functional architecture in the cat’s visual cortex,” Journal of Physiology, vol. 160, pp. 106–154, 1962.

[93] L. Itti and C. Koch, “Computational modeling of visual attention,” Nature Reviews Neuroscience, vol. 2, no. 3, pp. 194–203, 2001.

[94] L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, pp. 1254–1259, 1998.

[95] Q. Ji and R. M. Haralick, “Corner detection with covariance propagation,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 362–367, 1997.

[96] B. Julesz, “Textons, the elements of texture perception, and their interactions,” Nature, vol. 290, pp. 91–97, 1981.

[97] F. Jurie and B. Triggs, “Creating efficient codebooks for visual recognition,” in Proceedings of the International Conference on Computer Vision, pp. 604– 610, 2005.

[98] T. Kadir and M. Brady, “Scale, saliency and image description,” International Journal of Computer Vision, vol. 45, no. 2, pp. 83–105, 2001.

[99] T. Kadir, M. Brady, and A. Zisserman, “An affine invariant method for selecting salient regions in images,” in Proceedings of the European Conference on Computer Vision, pp. 345–457, 2004.

[100] Y. Ke and R. Sukthankar, “PCA–SIFT: A more distinctive representation for local image descriptors,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 511–517, 2004.

[101] C. Kenney, B. Manjunath, M. Zuliani, G. Hewer, and A. Van Nevel, “A condition number for point matching with application to registration and postregistration error estimation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 11, pp. 1437–1454, 2003.

[102] C. S. Kenney, M. Zuliani, and B. S. Manjunath, “An axiomatic approach to corner detection,” International Conference on Computer Vision and Pattern Recognition, pp. 191–197, 2005.

[103] W. Kienzle, F. A. Wichmann, B. Scholkopf, and M. O. Franz, “Learning an interest operator from human eye movements,” in Proceedings of the Conference on Computer Vision and Pattern Recognition Workshop, pp. 1–8, 2005.

[104] L. Kitchen and A. Rosenfeld, “Gray-level corner detection,” Pattern Recognition Letters, vol. 1, pp. 95–102, 1982.

[105] C. Koch and S. Ullman, “Shifts in selective visual attention: Towards the underlying neural circuitry,” Human Neurobiology, vol. 4, no. 4, pp. 219–227, 1985.

[106] J. J. Koenderink, “The structure of images,” Biological Cybernetics, vol. 50, pp. 363–396, 1984.

[107] R. Laganiere, “A morphological operator for corner detection,” Pattern Recognition, vol. 31, no. 11, pp. 1643–1652, 1998.

[108] D. J. Langridge, “Curve encoding and detection of discontinuities,” Computer Graphics Image Processing, vol. 20, pp. 58–71, 1982.

[109] I. Laptev and T. Lindeberg, “Tracking of multi-state hand models using particle filtering and a hierarchy of multi-scale image features,” in Proceedings of Scale-Space and Morphology Workshop, pp. 63–74, Lecture Notes in Computer Science, 2001.

[110] S. Lazebnik, C. Schmid, and J. Ponce, “Sparse texture representation using affineinvariantneighborhoods,”inProceedings of the Conference on Computer Vision and Pattern Recognition, pp. 319–324, 2003.

[111] J. S. Lee, Y. N. Sun, C. H. Chen, and C. T. Tsai, “Wavelet based corner detection,” Pattern Recognition, vol. 26, pp. 853–865, 1993.

[112] V. Lepetit and P. Fua, “Keypoint recognition using randomized trees,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 9, pp. 1465–1479, 2006.

[113] L. Li and W. Chen, “Corner detection and interpretation on planar curves using fuzzy reasoning,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 21, no. 11, pp. 1204–1210, 1999.

[114] R.-S. Lin, C.-H. Chu, and Y.-C. Hsueh, “A modified morphological corner detector,” Pattern Recognition Letters, vol. 19, no. 3, pp. 279–286, 1998.

[115] T. Lindeberg, “Scale-space for discrete signals,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 12, no. 1, pp. 234–254, 1990.

[116] T. Lindeberg, “Detecting salient blob-like image structures and their scales with a scale-space primal sketch – a method for focus-of-attention,” International Journal of Computer Vision, vol. 11, no. 3, pp. 283–318, 1993.

[117] T. Lindeberg, Scale-Space Theory in Computer Vision. Kluwer Academic Publishers, 1994.

[118] T. Lindeberg, “Direct estimation of affine image deformation using visual front-end operations with automatic scale selection,” in Proceedings of the International Conference on Computer Vision, pp. 134–141, 1995.

[119] T. Lindeberg, “Edge detection and ridge detection with automatic scale selection,” International Journal of Computer Vision, vol. 30, no. 2, pp. 79–116, 1998.

[120] T. Lindeberg, “Feature detection with automatic scale selection,” International Journal of Computer Vision, vol. 30, no. 2, pp. 79–116, 1998.

[121] T. Lindeberg and J. Garding, “Shape-adapted smoothing in estimation of 3-D shape cues from affine deformations of local 2-D brightness structure,” Image and Vision Computing, vol. 15, no. 6, pp. 415–434, 1997.

[122] H. Ling and D. Jacobs, “Deformation invariant image matching,” in Proceedings of the International Conference on Computer Vision, vol. 2, pp. 1466– 1473, 2005.

[123] S.-T. Liu and W.-H. Tsai, “Moment preserving corner detection,” Pattern Recognition, vol. 23, no. 5, pp. 441–460, 1990.

[124] D. Lowe, “Distinctive image features from scale-invariant keypoints,” International Journal of Computer Vision, vol. 2, no. 60, pp. 91–110, 2004.

[125] D. G. Lowe, “Organization of smooth image curves at multiple scales,” International Conference on Computer Vision, pp. 558–567, 1988.

[126] D. G. Lowe, “Object recognition from local scale-invariant features,” in Proceedings of the International Conference on Computer Vision, pp. 1150–1157, 1999.

[127] G. Loy and A. Zelinsky, “Fast radial symmetry for detecting points of interest,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, no. 8, pp. 959–973, 2003.

[128] B. Luo, A. D. J. Cross, and E. R. Hancock, “Corner detection via topographic analysis of vector potential,” Pattern Recognition Letters, vol. 20, no. 6, pp. 635–650, 1998.

[129] J. Malik, S. Belongie, J. Shi, and T. Leung, “Textons, contours and regions: Cue integration in image segmentation,” in Proceedings of the International Conference on Computer Vision, pp. 918–925, 1999.

[130] J. Malik and P. Perona, “Preattentive texture discrimination with early vision mechanism,” Journal of Optical Society of America A, vol. 7, no. 5, pp. 923– 932, 1990.

[131] B. S. Manjunath, C. Shekhar, and R. Chellappa, “A new approach to image feature detection with applications,” Pattern Recognition, vol. 29, no. 4, pp. 627–640, 1996.

[132] R. Maree, P. Geurts, J. Piater, and L. Wehenkel, “Random subwindows for robust image classification,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 34–40, 2005.

[133] D. Marr, Vision. USA, San Francisco, CA: W.H. Freeman and Company, 1982.

[134] J. Matas, O. Chum, M. Urban, and T. Pajdla, “Robust wide-baseline stereo from maximally stable extremal regions,” in Proceedings of the British Machine Vision Conference, pp. 384–393, 2002.

[135] J. Matas, S. Obdrzalek, and O. Chum, “Local affine frames for wide-baseline stereo,” in Proceedings of 16th International Conference Pattern Recognition, vol. 4, pp. 363–366, 2002.

[136] G. Medioni and Y. Yasumoto, “Corner detection and curve representation using cubic B-spline,” Computer Vision, Graphics and Image Processing, vol. 39, no. 1, pp. 267–278, 1987.

[137] R. Mehrotra, S. Nichani, and N. Ranganathan, “Corner detection,” Pattern Recognition, vol. 23, no. 11, pp. 1223–1233, 1990.

[138] K. Mikolajczyk, Scale and Affine Invariant Interest Point Detectors. PhD thesis, 2002. INRIA Grenoble.

[139] K.Mikolajczyk,B.Leibe,andB.Schiele,“Localfeaturesforobjectclassrecognition,” in Proceedings of the International Conference on Computer Vision, pp. 525–531, 2005.

[140] K. Mikolajczyk, B. Leibe, and B. Schiele, “Multiple object class detection with a generative model,” in Proceedings the Conference on Computer Vision and Pattern Recognition, pp. 26–36, 2006.

[141] K. Mikolajczyk and C. Schmid, “Indexing based on scale-invariant interest points,” in Proceedings of the International Conference on Computer Vision, pp. 525–531, Vancouver, Canada, 2001.

[142] K. Mikolajczyk and C. Schmid, “An affine invariant interest point detector,” in Proceedings of the European Conference on Computer Vision, pp. 128–142, 2002.

[143] K.MikolajczykandC.Schmid,“Scaleandaffineinvariantinterestpointdetectors,” International Journal of Computer Vision, vol. 1, no. 60, pp. 63–86, 2004.

[144] K. Mikolajczyk and C. Schmid, “A performance evaluation of local descriptors,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 10, pp. 1615–1630, 2005.

[145] K. Mikolajczyk, T. Tuytelaars, C. Schmid, A. Zisserman, J. Matas, F. Schaffalitzky, T. Kadir, and L. Van Gool, “A comparison of affine region detectors,” International Journal of Computer Vision, vol. 65, no. 1/2, pp. 43–72, 2005.

[146] K. Mikolajczyk, A. Zisserman, and C. Schmid, “Shape recognition with edge based features,” in Proceedings of the British Machine Vision Conference, pp. 779–788, 2003.

[147] R. Milanese, Detecting Salient Regions in an Image: From Biological Evidence to Computer Implementation. PhD thesis, University of Geneva, 1993.

[148] R.Milanese,J.-M.Bost,andT.Pun,“Abottom-upattentionsystemforactive vision,” in Proceedings of the European Conference on Artificial Intelligence, pp. 808–810, 1992.

[149] D. Milgram, “Computer methods for creating photomosaics,” IEEE Transactions on Computers, vol. 23, pp. 1113–1119, 1975.

[150] F. Mohanna and F. Mokhtarian, “Performance evaluation of corner detection algorithms under affine and similarity transforms,” in Proceedings of the British Machine Vision Conference, 2001.

[151] F. Mokhtarian and A. Mackworth, “Scale-based description of plannar curves and two-dimensional shapes,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 8, no. 1, pp. 34–43, 1986.

[152] F. Mokhtarian and R. Suomela, “Robust image corner detection through curvature scale-space,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 20, no. 12, pp. 1376–1381, 1998.

[153] P. Montesinos, V. Gouet, and R. Deriche, “Differential invariants for color images,” in Proceedings of the International Conference on Pattern Recognition, pp. 838–840, 1998.

[154] H. Moravec, “Towards automatic visual obstacle avoidance,” in Proceedings of the International Joint Conference on Artificial Intelligence, pp. 584–590, 1977.

[155] H. Moravec, “Visual mapping by a robot rover,” in Proceedings of the International Joint Conference on Artificial Intellingence, pp. 598–600, 1979.

[156] H. Moravec, “Rover visual obstacle avoidance,” in Proceedings of the International Joint Conference on Artificial Intelligence, pp. 785–790, 1981.

[157] P. Moreels and P. Perona, “Evaluation of features detectors and descriptors based on 3D objects,” in Proceedings of the International Conference on Computer Vision, pp. 800–807, 2005.

[158] P. Moreels and P. Perona, “Evaluation of features detectors and descriptors based on 3D objects,” International Journal of Computer Vision, vol. 73, no. 3, pp. 800–807, 2007.

[159] G. Mori, X. Ren, A. Efros, and J. Malik, “Recovering human body configurations: Combining segmentation and recognition,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 326–333, 2004.

[160] H. Murase and S. Nayar, “Visual learning and recognition of 3D objects from appearance,” International Journal on Computer Vision, vol. 14, no. 1, pp. 5– 24, 1995.

[161] E. Murphy-Chutorian and M. Trivedi, “N-tree disjoint-set forests for maximally stable extremal regions,” in Proceedings of the British Machine Vision Conference, 2006. [162] J. Mutch and D. G. Lowe, “Multiclass object recognition with sparse, localized features,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 11–18, 2006.

[163] H. H. Nagel, “Displacement vectors derived from second-order intensity variations in image sequences,” Computer Vision Graphics, and Image Processing, vol. 21, pp. 85–117, 1983.

[164] M. Nakajima, T. Agui, and K. Sakamoto, “Pseudo-coding method for digital line figures,” Transactions of the IECE, vol. J68–D, no. 4, pp. 623–630, 1985.

[165] U. Neisser, “Visual search,” Scientific American, vol. 210, no. 6, pp. 94–102, 1964.

[166] D. Nister and H. Stewenius, “Scalable recognition with a vocabulary tree,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 2161–2168, 2006.

[167] J. A. Noble, “Finding corners,” Image and Vision Computing, vol. 6, no. 2, pp. 121–128, 1988.

[168] J. A. Noble, Descriptions of Image Surfaces. PhD thesis, Department of Engineering Science, Oxford University, 1989.

[169] E. Nowak, F. Jurie, and B. Triggs, “Sampling strategies for bag-of-features image classification,” in Proceedings of the European Conference on Computer Vision, pp. 490–503, 2006.

[170] H. Ogawa, “Corner detection on digital curves based on local symmetry of the shape,” Pattern Recognition, vol. 22, no. 4, pp. 351–357, 1989.

[171] C.M.OrangeandF.C.A.Groen,“Model-basedcornerdetection,”in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 690– 691, 1993.

[172] M. Pabst, H. J. Reitboeck, and R. Eckhorn, “A model of preattentive Region definition based on texture analysis,” in Models of Brain Function, pp. 137– 150, Cambridge, England: Cambridge University Press, 1989.

[173] K. Paler, J. Foglein, J. Illingworth, and J. Kittler, “Local ordered grey levels as an aid to corner detection,” Pattern Recognition, vol. 17, no. 5, pp. 535–543, 1984.

[174] T. Pavlidis, Structural Pattern Recognition. Berlin, Heidelberg, NY: SpringerVerlag, 1977.

[175] T. Pavlidis, Algorithms for Graphics and Image Processing. Computer Science Press, 1982.

[176] T. Pavlidis, “Problems in recognition of drawings,” Syntactic and Structural Pattern Recognition, vol. 45, pp. 103–113, 1988.

[177] M. Perdoch, J. Matas, and S. Obdrzalek, “Stable affine frames on isophotes,” in Proceedings of the International Conference on Computer Vision, 2007.

[178] J. R. Quinlan, “Induction of decision trees,” Machine Learning, vol. 1, pp. 81– 106, 1986.

[179] P. Rajan and J. Davidson, “Evaluation of corner detection algorithms,” in 21th Southeastern Symposium on System Theory, pp. 29–33, 1989.

[180] K. Rangarajan, M. Shah, and D. V. Brackle, “Optimal corner detection,” Computer Vision Graphics Image Processing, vol. 48, pp. 230–245, 1989.

[181] A. Rattarangsi and R. T. Chin, “Scale-based detection of corners of planar curves,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, pp. 430–449, 1992.

[182] D. Reisfeld, H. Wolfson, and Y. Yeshurun, “Context free attentional operators: The generalized symmetry transform,” International Journal of Computer Vision, vol. 14, no. 2, pp. 119–130, 1995.

[183] X. Ren, C. Fowlkes, and J. Malik, “Scale–invariant contour completion using conditional random fields,” in Proceedings of the International Conference on Computer Vision, vol. 2, pp. 1214–1221, 2005.

[184] X. Ren and J. Malik, “Learning a classification model for segmentation,” in Proceedings of the International Conference on Computer Vision, vol. 1, pp. 10–17, 2003.

[185] M. Riesenhuber and T. Poggio, “Hierarchical models of object recognition in cortex,” Nature Neuroscience, vol. 2, pp. 1019–1025, 1999.

[186] B. Robbins and R. A. Owens, “2D feature detection via local energy,” Image Vision Comput, vol. 15, no. 5, pp. 353–368, 1997.

[187] V. Roberto and R. Milanese, “Matching hierarchical structures in a machine vision system,” Intelligent Autonomous Systems, pp. 845–852, 1989.

[188] K. Rohr, “Recognizing corners by fitting parametric models,” International Journal of Computer Vision, vol. 9, no. 3, pp. 213–230, 1992.

[189] K. Rohr, “Localization properties of direct corner detectors,” Journal of Mathematical Imaging and Vision, vol. 4, no. 2, pp. 139–150, 1994.

[190] K. Rohr, “On the precision in estimating the location of edges and corners,” Journal of Mathematical Imaging and Vision, vol. 7, no. 1, pp. 7–22, 1997.

[191] A. Rosenfeld, “Picture processing by computer,” ACM Computing Surveys, vol. 1, no. 3, pp. 147–176, 1969.

[192] A. Rosenfeld, “Digital image processing and recognition,” Digital Image Processing, pp. 1–11, 1977.

[193] A. Rosenfeld and E. Johnston, “Angle detection on digital curves,” IEEE Transactions on Computers, vol. C-22, pp. 875–878, 1973.

[194] A. Rosenfeld and A. C. Kak, Digital Picture Processing. Academic Press, Second Edition, 1982.

[195] A. Rosenfeld and M. Thurston, “Edge and curve detection for digital scene analysis,” IEEE Transactions on Computers, vol. C-20, pp. 562–569, 1971.

[196] A. Rosenfeld, M. Thurston, and Y. H. Lee, “Edge and curve detection: Further experiments,” IEEE Transactions on Computers, vol. C-21, pp. 677–715, 1972.

[197] A. Rosenfeld and J. S. Weszka, “An improved method of angle detection on digital curves,” IEEE Transactions on Computers, vol. 24, no. 9, pp. 940–941, 1975.

[198] L. Rosenthaler, F. Heitger, O. Kubler, and R. von der Heydt, “Detection of general edges and keypoints,” in Proceedings of the European Conference on Computer Vision, pp. 78–86, 1992.

[199] P.L.Rosin,“Representingcurvesattheirnaturalscales,” Pattern Recognition, vol. 25, pp. 1315–1325, 1992.

[200] P. L. Rosin, “Determining local natural scales of curves,” International Conference on Pattern Recognition, 1994.

[201] P. L. Rosin, “Measuring corner properties,” Computer Vision and Image Understanding, vol. 73, no. 2, pp. 292–307, 1999.

[202] E. Rosten and T. Drummond, “Fusing points and lines for high performance tracking,” in Proceedings of the International Conference on Computer Vision, pp. 1508–1511, 2005.

[203] E. Rosten and T. Drummond, “Machine learning for high-speed corner detection,” in Proceedings of the European Conference on Computer Vision, pp. 430–443, 2006.

[204] C. A. Rothwell, A. Zisserman, D. A. Forsyth, and J. L. Mundy, “Planar object recognition using projective shape representation,” International Journal on Computer Vision, vol. 16, pp. 57–99, 1995.

[205] W. S. Rutkowski and A. Rosenfeld, “A comparison of corner detection techniques for chain coded curves,” Technical Report 623, Maryland University, 1978.

[206] P. A. Sandon, “Simulating visual attention,” Journal of Cognitive Neuroscience, vol. 2, no. 3, pp. 213–231, 1990.

[207] P. V. Sankar and C. V. Sharma, “A parallel procedure for the detection of dominant points on digital curves,” Computer Graphics and Image Processing, vol. 7, pp. 403–412, 1978.

[208] F. Schaffalitzky and A. Zisserman, “Viewpoint invariant texture matching and wide baseline stereo,” in Proceedings of the International Conference on Computer Vision, pp. 636–643, 2001.

[209] F. Schaffalitzky and A. Zisserman, “Multi-view matching for unordered image sets,” in Proceedings of the European Conference on Computer Vision, pp. 414–431, 2002.

[210] B. Schiele and J. L. Crowley, “Probabilistic object recognition using multidimensional receptive field histograms,” in Proceedings of the International Conference on Pattern Recognition, vol. 2, pp. 50–54, 1996.

[211] B. Schiele and J. L. Crowley, “Recognition without correspondence using multi-dimensional receptive field histograms,” International Journal of Computer Vision, vol. 36, no. 1, pp. 31–50, 2000.

[212] C. Schmid and R. Mohr, “Combining gray-value invariants with local constraints for object recognition,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 872–877, 1996.

[213] C. Schmid and R. Mohr, “Local gray-value invariants for image retrieval,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 5, pp. 530–534, 1997.

[214] C. Schmid, R. Mohr, and C. Bauckhage, “Comparing and evaluating interest points,” in Proceedings of the International Conference on Computer Vision, pp. 230–235, 1998.

[215] C. Schmid, R. Mohr, and C. Bauckhage, “Evaluation of interest point detectors,” International Journal of Computer Vision, vol. 37, no. 2, pp. 151–172, 2000. [216] S. Se, T. Barfoot, and P. Jasiobedzki, “Visual motion estimation and terrain modeling for planetary rovers,” in Proceedings of the International Symposium on Artificial Intelligence for Robotics and Automation in Space, 2005.

[217] N. Sebe, T. Gevers, J. van de Weijer, and S. Dijkstra, “Corner detectors for affine invariant salient regions: Is color important,” in Proceedings of International Conference on Image and Video Retrieval, pp. 61–71, 2006.

[218] N. Sebe, Q. Tian, E. Loupias, M. Lew, and T. Huang, “Evaluation of salient point techniques,” Image and Vision Computing, vol. 21, no. 13–14, pp. 1087– 1095, 2003.

[219] R. Sedgewick, Algorithms. Addison–Wesley, Second Edition, 1988.

[220] E. Seemann, B. Leibe, K. Mikolajczyk, and B. Schiele, “An evaluation of local shape-based features for pedestrian detection,” in Proceedings of the British Machine Vision Conference, pp. 11–20, 2005.

[221] T. Serre, L. Wolf, S. Bileschi, M. Riesenhuber, and T. Poggio, “Robust object recognition with cortex-like mechanisms,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 3, pp. 411–426, 2007.

[222] T. Serre, L. Wolf, and T. Poggio, “Object recognition with features inspired by visual cortex,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, 2005.

[223] A. Sha’ashua and S. Ullman, “Structural saliency: The detection of globally salient structures using a locally connected network,” in Proceedings of the International Conference on Computer Vision, pp. 321–327, 1988.

[224] M. A. Shah and R. Jain, “Detecting time-varying corners,” Computer Vision, Graphics and Image Processing, vol. 28, pp. 345–355, 1984.

[225] E. Sharon, A. Brandt, and R. Basri, “Segmentation and boundary detection using multiscale intensity measurements,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 469–476, 2001.

[226] F.ShenandH.Wang,“CornerdetectionbasedonmodifiedHoughtransform,” Pattern Recognition Letters, vol. 23, no. 8, pp. 1039–1049, 2002.

[227] J. Shi and J. Malik, “Normalized cuts and image segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, no. 8, pp. 888– 905, 2000.

[228] J. Shi and C. Tomasi, “Good features to track,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 593–600, 1994. [229] A. Singh and M. Shneier, “Gray-level corner detection a generalization and a robust real time implementation,” in Proceedings of the Computer Vision Graphics Image Processing, vol. 51, pp. 54–69, 1990.

[230] S. N. Sinha, J. M. Frahm, M. Pollefeys, and Y. Genc, “GPU-based video feature tracking and matching,” in EDGE, Workshop on Edge Computing Using New Commodity Architectures, 2006.

[231] J. Sivic and A. Zisserman, “Video google: A text retrieval approach to object matching in videos,” in Proceedings of the International Conference on Computer Vision, pp. 1470–1478, 2003.

[232] S. M. Smith and J. M. Brady, “SUSAN — A new approach to low level image processing,” International Journal of Computer Vision, vol. 23, no. 34, pp. 45–78, 1997.

[233] K. Sohn, J. H. Kim, and W. E. Alexander, “A mean field annealing approach to robust corner detection,” IEEE Transactions on Systems Man Cybernetics Part B, vol. 28, pp. 82–90, 1998.

[234] J. Sporring, M. Nielsen, L. Florack, and P. Johansen, Gaussian Scale-Space Theory. Springer-Verlag, 1997.

[235] M. Stark and B. Schiele, “How good are local features for classes of geometric objects,” in Proceedings of the International Conference on Computer Vision, 2007.

[236] B. Super and W. Klarquist, “Patch-based stereo in a general binocular viewing geometry,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 19, no. 3, pp. 247–252, 1997.

[237] M. Swain and D. Ballard, “Color indexing,” International Journal in Computer Vision, vol. 7, no. 1, pp. 11–32, 1991.

[238] C.-H. Teh and R. T. Chin, “On the detection of dominant points on digital curves,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 11, pp. 859–872, 1989.

[239] P.TissainayagamandD.Suter,“Assessingtheperformanceofcornerdetectors for point feature tracking applications,” Image and Vision Computing, vol. 22, no. 8, pp. 663–679, 2004.

[240] M. Trajkovic and M. Hedley, “Fast corner detection,” Image and Vision Computing, vol. 16, no. 2, pp. 75–87, 1998.

[241] A. M. Treisman, “Features and objects: The fourteenth Berlett memorial lecture,” Journal of Experimantal Psychology, vol. 40A, pp. 201–237, 1988.

[242] W. Triggs, “Detecting keypoints with stable position, orientation and scale under illumination changes,” in Proceedings of the European Conference on Computer Vision, vol. 4, pp. 100–113, 2004.

[243] L. Trujillo and G. Olague, “Synthesis of interest point detectors through genetic programming,” Genetic and Evolutionary Computation, pp. 887–894, 2006.

[244] D.M.Tsai,“Boundary-basedcornerdetectionusingneuralnetworks,”Pattern Recognition, vol. 30, pp. 85–97, 1997.

[245] M. A. Turk and A. P. Pentland, “Eigenfaces for face recognition,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, pp. 586– 591, 1991.

[246] T. Tuytelaars and C. Schmid, “Vector quantizing feature space with a regular lattice,” in Proceedings of the International Conference on Computer Vision, 2007.

[247] T. Tuytelaars and L. Van Gool, “Content-based image retrieval based on local affinely invariant regions,” in International Conference on Visual Information Systems, pp. 493–500, 1999.

[248] T. Tuytelaars and L. Van Gool, “Wide baseline stereo matching based on local, affinely invariant regions,” in Proceedings of the British Machine Vision Conference, pp. 412–425, 2000.

[249] T. Tuytelaars and L. Van Gool, “Matching widely separated views based on affine invariant regions,” International Journal of Computer Vision, vol. 1, no. 59, pp. 61–85, 2004.

[250] J. van de Weijer, T. Gevers, and A. D. Bagdanov, “Boosting color saliency in image feature detection,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 1, pp. 150–156, 2006.

[251] A. Vedaldi and S. Soatto, “Features for recognition: Viewpoint invariance for non-planar scenes,” in Proceedings of the International Conference on Computer Vision, pp. 1474–1481, 2005.

[252] P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Proceedings of the Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 511–518, 2001.

[253] K. N. Walker, T. F. Cootes, and C. J. Taylor, “Locating salient object features,” in Proceedings of the British Machine Vision Conference, 1998.

[254] H. Wang and M. Brady, “Real-time corner detection algorithm for motion estimation,” Image and Vision Computing, vol. 13, no. 9, pp. 695–703, 1995.

[255] R. J. Watt, “Scanning from coarse to fine spatial scales in the human visual system after the onset of a stimulus,” Journal of Optical Society of America, vol. 4, no. 10, pp. 2006–2021, 1987.

[256] S. Winder and M. Brown, “Learning local image descriptors,” International Conference on Computer Vision and Pattern Recognition, 2007.

[257] J. Winn, A. Criminisi, and T. Minka, “Object categorization by learned universal visual dictionary,” in Proceedings of the International Conference on Computer Vision, vol. 2, pp. 1800–1807, 2005.

[258] A. P. Witkin, “Scale-space filtering,” in Proceedings of the International Joint Conference on Artificial Intelligence, pp. 1019–1023, 1983.

[259] M. Worring and A. W. M. Smeulders, “Digital curvature estimation,” CVGIP: Image Understanding, vol. 58, no. 3, pp. 366–382, 1993.

[260] R. P. Wurtz and T. Lourens, “Corner detection in color images through a multiscale combination of end-stopped cortical cells,” Image and Vision Computing, vol. 18, no. 6–7, pp. 531–541, 2000.

[261] X. Zhang, R. Haralick, and V. Ramesh, “Corner detection using the map technique,” in Proceedings of the International Conference on Pattern Recognition, vol. 1, pp. 549–552, 1994.

[262] X. Zhang and D. Zhao, “A morphological algorithm for detecting dominant points on digital curves,” SPIE Proceedings, Nonlinear Image Processing 2424, pp. 372–383, 1995.

[263] Z. Zheng, H. Wang, and E. Teoh, “Analysis of gray level corner detection,” Pattern Recognition Letters, vol. 20, pp. 149–162, 1999.

[264] P. Zhu and P. M. Chirlian, “On critical point detection of digital shapes,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 17, no. 8, pp. 737–748, 1995.