有許多用于特征檢測和提取的算法，我們将會對其中大部分進行介紹。OpenCV最常使用的特征檢測和提取算法有：
Harris：該算法用于檢測角點；
SIFT：該算法用于檢測斑點；
SURF：該算法用于檢測角點；
FAST：該算法用于檢測角點；
BRIEF：該算法用于檢測斑點；
ORB：該算法代表帶方向的FAST算法與具有旋轉不變性的BRIEF算法；
通過以下方法進行特征比對：
暴力(Brute-Force)比對法；
基于FLANN比對法；
可以采用單應性進行空間驗證。
特征提取算法比較
計算速度： ORB>>SURF>>SIFT(各差一個量級)
旋轉魯棒性： SURF>ORB~SIFT(表示差不多)
模糊魯棒性： SURF>ORB~SIFT
尺度變換魯棒性： SURF>SIFT>ORB(ORB并不具備尺度變換性)
基本概念
特征向量
用于表示和量化圖像的數字清單，簡單了解成将圖檔轉化為一個數字清單表示。特征向量中用來描述圖檔的各種屬性的向量稱為特征矢量。
特征描述符(特征描述子)Descriptor
參考
是一種算法和方法，輸入1個圖像，傳回多個特征向量(主要用來處理圖像的局部，往往會把多個特征向量組成一個一維的向量)。主要用于圖像比對(視覺檢測)，比對圖像中的物品。
SIFT特征算法與DoG尺度空間
SIFT論文
原理
opencv官網解釋
實質是在不同的尺度空間上查找關鍵點(特征點)，并計算出關鍵點的方向。SIFT所查找到的關鍵點是一些十分突出，不會因光照，仿射變換和噪音等因素而變化的點，如角點、邊緣點、暗區的亮點及亮區的暗點等。
SIFT
尺度不變特征轉換(Scale-invariant feature transform或SIFT)是一種電腦視覺的算法用來偵測與描述影像中的局部性特征，它在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量。
其應用範圍包含物體辨識、機器人地圖感覺與導航、影像縫合、3D模型建立、手勢辨識、影像追蹤和動作比對。
尺度空間
對現實中物體的描述一定要在一個十分重要的前提下進行，這個前提就是對自然界模組化時的尺度。當用一個機器視覺系統分析未知場景時，計算機沒有辦法預先知道圖像中物體的尺度，是以我們需要同時考慮圖像在多尺度下的描述，獲知感興趣物體的最佳尺度。圖像的尺度空間表達指的是圖像的所有尺度下的描述。
DoG尺度空間
DoG空間極值點
特征點方向歸一化
計算特征點描述子
SIFT算法分解為如下四步：
尺度空間極值檢測：搜尋所有尺度上的圖像位置。通過高斯微分函數來識别潛在的對于尺度和旋轉不變的興趣點。
關鍵點定位：在每個候選的位置上，通過一個拟合精細的模型來确定位置和尺度。關鍵點的選擇依據于它們的穩定程度。
方向确定：基于圖像局部的梯度方向，配置設定給每個關鍵點位置一個或多個方向。所有後面的對圖像資料的操作都相對于關鍵點的方向、尺度和位置進行變換，進而提供對于這些變換的不變性。
關鍵點描述：在每個關鍵點周圍的鄰域内，在標明的尺度上測量圖像局部的梯度。這些梯度被變換成一種表示，這種表示允許比較大的局部形狀的變形和光照變化。
sift = cv2.xfeatures2d.SIFT_create()
'''
SIFT_create([, nfeatures[, nOctaveLayers[, contrastThreshold[, edgeThreshold[, sigma]]]]]) -> retval
. @param nfeatures The number of best features to retain. The features are ranked by their scores
. (measured in SIFT algorithm as the local contrast)
.
. @param nOctaveLayers The number of layers in each octave. 3 is the value used in D. Lowe paper. The
. number of octaves is computed automatically from the image resolution.
.
. @param contrastThreshold The contrast threshold used to filter out weak features in semi-uniform
. (low-contrast) regions. The larger the threshold, the less features are produced by the detector.
.
. @param edgeThreshold The threshold used to filter out edge-like features. Note that the its meaning
. is different from the contrastThreshold, i.e. the larger the edgeThreshold, the less features are
. filtered out (more features are retained).
.
. @param sigma The sigma of the Gaussian applied to the input image at the octave \#0. If your image
. is captured with a weak camera with soft lenses, you might want to reduce the number.
'''
keypoints, descriptor = sift.detectAndCompute(img_gray, None)
'''
detectAndCompute(image, mask[, descriptors[, useProvidedKeypoints]]) -> keypoints, descriptors
. Detects keypoints and computes the descriptors
算法分成了兩步，第一步特征提取，第二步計算描述符
'''
'''
keypoints資料結構
pt, 坐标
size, 特征直徑
angle, 特征方向
response, 特征強度
octave,該特征在金字塔的第幾層被找到
class_id
'''
img = cv2.imread('laugh.jpg')
img_large = cv2.imread('laugh_large.jpg')
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
gray_large = cv2.cvtColor(img_large, cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
keypoints, descriptor = sift.detectAndCompute(gray, None)
keypoints2, descriptor2 = sift.detectAndCompute(gray_large, None)
img = cv2.drawKeypoints(image=img, outImage=img, keypoints=keypoints, flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
color=(0, 0, 255))
img_large = cv2.drawKeypoints(image=img_large, outImage=img_large, keypoints=keypoints2,
flags=cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,
color=(0, 0, 255))
cv2.imshow('sift', img)
cv2.imshow('sift_large', img_large)
SIFT效果
SURF算法和Fast Hessian矩陣
SURF論文
原理
opencv官網解釋
SURF是SIFT的加速版，它善于處理具有模糊和旋轉的圖像，但是不善于處理視角變化和光照變化。在SIFT中使用DoG對LoG進行近似，而在SURF中使用盒子濾波器對LoG進行近似，這樣就可以使用積分圖像了(計算圖像中某個視窗内所有像素和時，計算量的大小與視窗大小無關)。總之，SURF最大的特點在于采用了Haar特征以及積分圖像的概念，大大加快了程式的運作效率。
surf = cv2.xfeatures2d.SURF_create(hessian_threshold)
# hessian_threshold 保留的特征值越少，越強大的特征值才會被保留，需要根據具體圖像進行調整
img = cv2.imread("laugh.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
alg = cv2.xfeatures2d.SURF_create(10000)
keypoints, descriptor = alg.detectAndCompute(gray, None)
img = cv2.drawKeypoints(img, keypoints, img, (0, 0, 255), cv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)
cv2.imshow('hessian_10000', img)
SURF - hessan門檻值效果對比
SURF - 不同尺度效果對比
注意事項
因為專利原因，OpenCV3.3開始不再免費開放SIFT\SURF，需要免費的請使用ORB算法
ORB特征算法
ORB算法綜合了FAST角點檢測算法和BRIEFF描述符。
FAST特征檢測
算法原理
opencv官方文檔
FAST隻是一種特征點檢測算法，并不涉及特征點的特征描述。
fast = cv2.FastFeatureDetector_create(threshold=10)
img = cv2.imread("laugh.jpg", 0)
fast = cv2.FastFeatureDetector_create()
keypoints = fast.detect(img, None)
img = cv2.drawKeypoints(img, keypoints, None, (0, 0, 255))
FAST - threshold100效果圖
FAST - 預設threshold(10)效果圖
BRIEF特征描述符
論文
opencv官方文檔
中文版
Brief是Binary Robust Independent Elementary Features的縮寫。這個特征描述子是由EPFL的Calonder在ECCV2010上提出的。主要思路就是在特征點附近随機選取若幹點對，将這些點對的灰階值的大小，組合成一個二進制串，并将這個二進制串作為該特征點的特征描述子。文章同樣提到，在此之前，需要選取合适的gaussian kernel對圖像做平滑處理。
缺點
1：不具備旋轉不變性。
2：對噪聲敏感
3：不具備尺度不變性。
img = cv2.imread("laugh.jpg", 0)
# Initiate FAST detector
star = cv2.xfeatures2d.StarDetector_create()
# Initiate BRIEF extractor
brief = cv2.xfeatures2d.BriefDescriptorExtractor_create()
# find the keypoints with STAR
kp = star.detect(img, None)
# compute the descriptors with BRIEF
kp, des = brief.compute(img, kp)
print(brief.descriptorSize())
print(des.shape)
ORB
ORB采用了FAST作為特征點檢測算子，特征點的主方向是通過矩(moment)計算而來解決了BRIEF不具備旋轉不變性的問題。
ORB還做了這樣的改進，不再使用pixel-pair，而是使用9×9的patch-pair，也就是說，對比patch的像素值之和，解決了BRIEF對噪聲敏感的問題。
關于計算速度：
ORB是sift的100倍，是surf的10倍。
import cv2
img = cv2.imread("A.jpg", 0)
orb = cv2.ORB_create()
kp, des = orb.detectAndCompute(img, None)
# len(kp) : 485
# des.shape: (485, 32)
ORB效果
附：相關知識
特征提取方法
直方圖
對圖檔資料、特征分布的一種統計
對資料空間(bin)進行量化
聚類
Kmeans
顔色特征
量化顔色直方圖，适用于均勻分布的顔色空間，如RGB，HSV等。
統計落在量化單元上的像素數量，bin内的像素由bin中心的顔色代表
聚類顔色直方圖，适用于非均勻分布的顔色空間，如Lab等
幾何特征
邊緣：尺度問題->不同的标準差
捕捉到不同尺度的邊緣
斑點 Blob：二階高斯導數濾波LoG
LoG圖找零點就是邊緣
LoG圖找極值點就是斑點
DoG：LoG近似于2個不同尺度的高斯差分，計算量大大減小
藍色是LoG，黑色是DoG
關鍵點(keypoint)：不同視角圖檔之間的映射，圖檔配準、拼接、運動跟蹤、物體識别、機器人導航、3D重建
紋理特征
HOG方向梯度直方圖
LBP局部二值模式
Gabor濾波器組：多尺度多方向。原理：頻域中是加窗傅裡葉變換，時域中是一個高斯核和正弦平面波的乘積
三尺度、八方向
局部特征
SIFT\SURF