HALCON基于形狀比對詳解

HALCON基于形狀的模闆比對詳細說明

很早就想總結一下前段時間學習HALCON的心得，但由于其他的事情總是抽不出時間。去年有過一段時間的集中學習，做了許多的練習和實驗，并對基于HDevelop的形狀比對算法的參數優化進行了研究，寫了一篇《基于HDevelop的形狀比對算法參數的優化研究》文章，總結了在形狀比對過程中哪些參數影響到模闆的搜尋和比對，又如何來協調這些參數來加快比對過程，提高比對的精度，這篇paper放到了中國論文線上了，需要可以去下載下傳。

德國MVTec公司開發的HALCON機器視覺開發軟體，提供了許多的功能，在這裡我主要學習和研究了其中的形狀比對的算法和流程。HDevelop開發環境中提供的比對的方法主要有三種，即Component-Based、Gray-Value-Based、Shape-Based,分别是基于元件（或成分、元素）的比對，基于灰階值的比對和基于形狀的比對。這三種比對的方法各具特點，分别适用于不同的圖像特征，但都有建立模闆和尋找模闆的相同過程。這三種方法裡面，我主要就第三種－基于形狀的比對，做了許多的實驗，是以也做了基于形狀比對的物體識别，基于形狀比對的視訊對象分割和基于形狀比對的視訊對象跟蹤這些研究，從中取得較好的效果，簡化了用其他工具，比如VC++來開發的過程。在VC下往往針對不同的圖像格式，就會弄的很頭疼，更不用說編寫圖像特征提取、模闆建立和搜尋模闆的代碼呢，我想其中間過程會很複雜，效果也不一定會顯著。下面我就具體地談談基于HALCON的形狀比對算法的研究和心得總結。

1. Shape-Based matching的基本流程
              

HALCON提供的基于形狀比對的算法主要是針對感興趣的小區域來建立模闆，對整個圖像建立模闆也可以，但這樣除非是對象在整個圖像中所占比例很大，比如像視訊會議中人體上半身這樣的圖像，我在後面的視訊對象跟蹤實驗中就是針對整個圖像的，這往往也是要犧牲比對速度的，這個後面再講。基本流程是這樣的，如下所示：

⑴ 首先确定出ROI的矩形區域，這裡隻需要确定矩形的左上點和右下點的坐标即可，gen_rectangle1()這個函數就會幫助你生成一個矩形，利用area_center()找到這個矩形的中心；

⑵ 然後需要從圖像中擷取這個矩形區域的圖像，reduce_domain()會得到這個ROI；這之後就可以對這個矩形建立模闆，而在建立模闆之前，可以先對這個區域進行一些處理，友善以後的模組化，比如門檻值分割，數學形态學的一些處理等等；

⑶ 接下來就可以利用create_shape_model()來建立模闆了，這個函數有許多參數，其中金字塔的級數由Numlevels指定，值越大則找到物體的時間越少，AngleStart和AngleExtent決定可能的旋轉範圍，AngleStep指定角度範圍搜尋的步長；這裡需要提醒的是，在任何情況下，模闆應适合主記憶體，搜尋時間會縮短。對特别大的模闆，用Optimization來減少模闆點的數量是很有用的；MinConstrast将模闆從圖像的噪聲中分離出來，如果灰階值的波動範圍是10，則MinConstrast應當設為10；Metric參數決定模闆識别的條件，如果設為’use_polarity’，則圖像中的物體和模闆必須有相同的對比度；建立好模闆後，這時還需要監視模闆，用inspect_shape_model()來完成，它檢查參數的适用性，還能幫助找到合适的參數；另外，還需要獲得這個模闆的輪廓，用于後面的比對，get_shape_model_contours()則會很容易的幫我們找到模闆的輪廓；

⑷ 建立好模闆後，就可以打開另一幅圖像，來進行模闆比對了。這個過程也就是在新圖像中尋找與模闆比對的圖像部分，這部分的工作就由函數find_shape_model()來承擔了，它也擁有許多的參數，這些參數都影響着尋找模闆的速度和精度。這個的功能就是在一幅圖中找出最佳比對的模闆，傳回一個模闆執行個體的長、寬和旋轉角度。其中參數SubPixel決定是否精确到亞像素級，設為’interpolation’，則會精确到，這個模式不會占用太多時間，若需要更精确，則可設為’least_square’,’lease_square_high’，但這樣會增加額外的時間，是以，這需要在時間和精度上作個折中，需要和實際聯系起來。比較重要的兩個參數是MinSocre和Greediness，前一個用來分析模闆的旋轉對稱和它們之間的相似度，值越大，則越相似，後一個是搜尋貪婪度，這個值在很大程度上影響着搜尋速度，若為0，則為啟發式搜尋，很耗時，若為1，則為不安全搜尋，但最快。在大多數情況下，在能夠比對的情況下，盡可能的增大其值。

⑸ 找到之後，還需要對其進行轉化，使之能夠顯示，這兩個函數vector_angle_to_rigid()和affine_trans_contour_xld()在這裡就起這個作用。前一個是從一個點和角度計算一個剛體仿射變換，這個函數從比對函數的結果中對構造一個剛體仿射變換很有用，把參考圖像變為目前圖像。

其詳細的流程圖和中間參數，如下圖所示：（無法上傳）

1. 基于形狀比對的參數關系與優化
              

   在HALCON的說明資料裡講到了這些參數的作用以及關系，在上面提到的文章中也作了介紹，這裡主要是重複說明一下這些參數的作用，再強調一下它們影響比對速度的程度；

在為了提高速度而設定參數之前，有必要找出那些在所有測試圖像中比對成功的設定，這時需考慮以下情況：

① 必須保證物體在圖像邊緣處截斷，也就是保證輪廓的清晰，這些可以通過形态學的一些方法來處理；

② 如果Greediness值設的太高，就找不到其中一些可見物體，這時最後将其設為0來執行完全搜尋；

③ 物體是否有封閉區域，如果要求物體在任何狀态下都能被識别，則應減小MinScore值；

④ 判斷在金字塔最進階上的比對是否失敗，可以通過find_shape_model（）減小NumLevels值來測試；

⑤ 物體是否具有較低的對比度，如果要求物體在任何狀态下都能被識别，則應減小MinContrast值；

⑥ 判斷是否全局地或者局部地轉化對比度極性，如果需要在任何狀态下都能被識别，則應給參數Metric設定一個合适的值；

⑦ 物體是否與物體的其他執行個體重疊，如果需要在任何狀态下都能識别物體，則應增加MaxOverlap值；

⑧ 判斷是否在相同物體上找到多個比對值，如果物體幾乎是對稱的，則需要控制旋轉範圍；

如何加快搜尋比對，需要在這些參數中進行合理的搭配，有以下方法可以參考：

① 隻要比對成功，則盡可能增加參數MinScore的值；

② 增加Greediness值直到比對失敗，同時在需要時減小MinScore值；

③ 如果有可能，在建立模闆時使用一個大的NumLevels，即将圖像多分幾個金字塔級；

④ 限定允許的旋轉範圍和大小範圍，在調用find_shape_model（）時調整相應的參數；

⑤ 盡量限定搜尋ROI的區域；

除上面介紹的以外，在保證能夠比對的情況下，盡可能的增大Greediness的值，因為在後面的實驗中，用模闆比對進行視訊對象跟蹤的過程中，這個值在很大程度上影響到比對的速度。

當然這些方法都需要跟實際聯系起來，不同圖像在比對過程中也會有不同的比對效果，在具體到某些應用，不同的硬體設施也會對這個比對算法提出新的要求，是以需要不斷地去嘗試。在接下來我會結合自己做的具體的實驗來如何利用HALCON來進行實驗，主要是在視訊對象分割和視訊對象的跟蹤方面。待續…………_

例子：區分硬币 Example: solution_guide/basics/matching_coins.hdev 見附件trainmodel.hdev

點選檢視原圖

create_shape_model(

const Hobject& Template , //reduce_domain後的模闆圖像

Hlong NumLevels, //金字塔的層數，可設為“auto”或0—10的整數

Double AngleStart, //模闆旋轉的起始角度

Double AngleExtent, //模闆旋轉角度範圍, >=0

Double AngleStep, //旋轉角度的步長， >=0 and <=pi/16

const char* Optimization, //設定模闆優化和模闆建立方法

const char* Metric, //比對方法設定

Hlong Contrast, //設定對比度

Hlong MinContrast , //設定最小對比度

Hlong* ModelID ) //輸出模闆句柄

進一步分析：

NumLevels越大，找到比對使用的時間就越小。另外必須保證最高層的圖像具有足夠的資訊（至少四個點）。可以通過inspect_shape_model函數檢視設定的結果。如果最高層金字塔的消息太少，算法内部會自動減少金字塔層數，如果最底層金字塔的資訊太少，函數就會報錯。如果設為auto，算法會自動計算金字塔的層數，我們可以通過get_shape_model_params函數檢視金字塔的層數。如果金字塔的層數太大，模闆不容易識别出來，這是需要将find_shape_model函數中MinScore和Greediness參數設定的低一些。如果金字塔層數太少找到模闆的時間會增加。可以先使用inspect_shape_model函數的輸出結果來選擇一個較好的金字塔層數。

參數AngleStart、AngleExtent定義了模闆可能發生旋轉的範圍。注意模闆在find_shape_model函數中隻能找到這個範圍内的比對。參數AngleStep定義了旋轉角度範圍内的步長。 如果在find_shape_model函數中沒有指定亞像素精度，這個參數指定的精度是可以實作find_shape_mode函數中的角度的。參數AngleStep的選擇是基于目标的大小的，如果模闆圖像太小不能産生許多不同離散角度的圖像，是以對于較小的模闆圖像AngleStep應該設定的比較大。如果AngleExtent不是AngleStep的整數倍, 将會相應的修改AngleStep。

如果選擇 complete pregeneration ，不同角度的模闆圖像将會産生并儲存在記憶體中。用來存儲模闆的記憶體與旋轉角度的數目和模闆圖像的的點數是成正比的。 是以，如果AngleStep太小或是AngleExtent太大, 将會出現該模型不再适合（虛拟）記憶體的情況。在任何情況下，模型是完全适合主存儲器的，因為這避免了作業系統的記憶體分頁，使得尋找比對模闆的時間變短。由于find_shape_model函數中的角度可以使用亞像素精度，一個直徑小于200像素的模闆可以選擇AngleStep>= 1. 如果選擇AngleStep=‘auto’ (or 0 向後相容),create_shape_model将會基于模闆的大小自動定義一個合适的角度步長. 自動計算出來的AngleStep可以使用get_shape_model_params函數檢視。

如果沒有選擇complete pregeneration, 該模型會在每一層金字塔上建立在一個參考的位置。這樣在find_shape_model函數運作時，該模型必須轉化為不同的角度和尺度在運作時在。正因為如此，比對該模型可能需要更多的時間。

對于特别大的模闆圖像，将參數Optimization設定為不同于’none’的其他數值是非常有用的。如果Optimization= ‘none’, 所有的模型點将要存儲。在其他情況下, 按照Optimization的數值會将模型的點數減少. 如果模型點數變少了，必須在find_shape_model函數中将參數Greediness設為一個比較小的值, 比如：0.7、0.8。對于比較小的模型, 減少模型點數并不能提高搜尋速度，因為這種情況下通常顯着更多的潛在情況的模型必須進行檢查。如果Optimization設定為’auto’， create_shape_model自動确定模型的點數。

Optimization的第二個值定義了模型是否進行預處理（pregenerated completely），是通過選擇’pregeneration’或者’no_pregeneration’來設定的。如果不使用第二個值(例如：僅僅設定了第一個值), 預設的是系統中的設定，是通過set_system(‘pregenerate _shape_models’,…)來設定的，對于預設值是 (‘pregenerate_shape_models’ = ‘false’), 模型沒有進行預處理. 模型的預處理設定通常會導緻比較低的運作時間，因為模型不需要 在運作時間時轉換。然而在這種情況下,記憶體的要求和建立模闆所需要的時間是比較高的。還應該指出，不能指望這兩個模式傳回完全相同的結果，因為在運作時變換一定會導緻變換模型和預處理變換模型之間不同的内部資料。比如，如果模型沒有 completely pregenerated，在find_shape_model函數中通常傳回一個較低的scores，這可能需要将MinScore設定成一個較低的值。此外，在兩個模型中插值法獲得的位置可能略有不同。如果希望是最高精确度，應該使用最小二乘調整得到模型位置。

參數Contras決定着模型點的對比度。對比度是用來測量目标與背景之間和目标不同部分之間局部的灰階值差異。Contrast的選擇應該確定模闆中的主要特征用于模型中。Contrast也可以是兩個數值，這時模闆使用近似edges_image函數中滞後門檻值的算法進行分割。這裡第一個數值是比較低的門檻值，第二個數值是比較高的門檻值。Contrast也可以包含第三個，這個數值是在基于元件尺寸選擇重要模型元件時所設定的門檻值，比如，比指定的最小尺寸的點數還少的元件将被抑制。這個最小尺寸的門檻值會在每相鄰的金字塔層之間除以2。如果一個小的模型元件被抑制，但是不使用滞後門檻值，然而在Contrast中必須指定三個數值，在這種情況下前兩個數值設定成相同的數值。這個參數的設定可以在inspect_shape_model函數中檢視效果。如果Contrast設定為’auto’，create_shape_model将會自動确定三個上面描述的數值。或者僅僅自動設定對比度(‘auto_contrast’)，滞後門檻值(‘auto_contrast_hyst’)或是最小尺寸(‘auto_min_size’)中一個。其他沒有自動設定的數值可以按照上面的格式再進行設定。可以允許各種組合，例如：如果設定 [‘auto_contrast’,‘auto_min_size’]，對比度和最小尺寸自動确定；如果設定 [‘auto_min_size’,20,30]，最小尺寸會自動設定，而滞後門檻值被設為20和30。有時候可能對比度門檻值自動設定的結果是不滿意的，例如，由于一些具體應用的原因當某一個模型元件是被包含或是被抑制時，或是目标包含幾種不同的對比度時，手動設定這些參數效果會更好。是以對比度門檻值可以使用determine_shape_model_params函數自動确定，也可以在調用create_shape_model之前使用inspect_shape_mode函數檢查效果。

MinContrast用來确定在執行find_shape_model函數進行識别時模型的哪一個對比度必須存在，也就是說，這個參數将模型從噪聲圖像中分離出來。是以一個好的選擇應該是在圖像中噪聲所引起的灰階變化範圍。例如，如果灰階浮動在10個灰階級内，MinContrast應該設定成10。如果模闆和搜尋圖像是多通道圖像，Metric參數設定成’ignore_color_polarity’，在一個通道中的噪聲必須乘以通道個數的平方根再去設定MinContrast。例如，如果灰階值在一個通道的浮動範圍是10個灰階級，圖像是三通道的，那麼MinContrast應該設定為17。很顯然，MinContrast必須小于Contrast。如果要在對比度較低的圖像中識别模闆，MinContrast必須設定為一個相對較小的數值。如果要是模闆即使嚴重遮擋（occluded）也能識别出來，MinContrast應該設定成一個比噪聲引起的灰階浮動範圍略大的數值，這樣才能確定在find_shape_model函數中提取出模闆準确的位置和旋轉角度。如果MinContrast設定為’auto’，最小對比度會基于模闆圖像中的噪聲自動定義。是以自動設定僅僅在搜尋圖像和模闆圖像噪聲近似時才可以使用。此外，在某些情況下為了遮擋的魯棒性，采用自動設定數值是比較好的。使用get_shape_model_params函數可以查詢自動計算的最小對比度。

參數Metric定義了在圖像中比對模闆的條件。如果Metric= ‘use_polarity’，圖像中的目标必須和模型具有一樣的對比度。例如，如果模型是一個亮的目标在一個暗的背景上，那麼僅僅那些比背景亮的目标可以找到。如果Metric= ‘ignore_global_polarity’,在兩者對比度完全相反時也能找到目标。在上面的例子中，如果目标是比背景暗的也能将目标找到。find_shape_model函數的運作時間在這種情況下将會略微增加。如果Metric= ‘ignore_local_polarity’, 即使局部對比度改變也能找到模型。例如，當目标包含一部分中等灰階，并且其中部分比較亮部分比較暗時，這種模式是非常有用的。由于這種模式下find_shape_model函數的運作時間顯著增加，最好的方法是使用create_shape_model建立幾個反映目标可能的對比度變化的模型，同時使用find_shape_models去比對他們。上面三個metrics僅僅适用于單通道圖像。如果是多通道圖像作為模闆圖像或搜尋圖像，僅僅第一個通道被使用。如果Metric='ignore_color_pol

arity’, 即使顔色對比度局部變化也能找到模型。例如，當目标的部分區域顔色發生變化(e.g.從紅到綠)的情況。如果不能提前知道目标在哪一個通道是可見的這種模式是非常有用的。在這種情況下find_shape_model函數的運作時間也會急劇增加。'ignore_color_polarity’可以使用于具有任意通道數目的圖像中。如果使用于單通道圖像，他的效果和’ignore_loc al_polarity’是完全相同的。當Metric= ‘ignore_color_polarity’ 時，

create_shape_model建立的模闆通道數目和find_shape_model中的圖像通道數目可以是不同的。例如，可以使用綜合生成的單通道圖像建立模型。另外，這些通道不需要是經過光譜細分(像RGB圖像)的。這些通道還可以包括具有在不同方向照亮同一個目标所獲得的圖像。

模型圖像Template的domain區域的重心是模闆的初始位置，可以在set_shape_model_origin函數中設定不同的初始位置。

LIntExport Herror find_shape_model(

const Hobject& Image, //搜尋圖像

Hlong ModelID, //模闆句柄

Double AngleStart, // 搜尋時的起始角度

Double AngleExtent, //搜尋時的角度範圍，必須與建立模闆時的有交集。

Double MinScore, // 輸出的比對的品質系數Score 都得大于該值

Hlong NumMatches, // 定義要輸出的比對的最大個數

Double MaxOverlap, // 當找到的目标存在重疊時，且重疊大于該值時選擇一個好的輸出

const char* SubPixel, // 計算精度的設定，五種模式，多選2，3

Hlong NumLevels, // 搜尋時金字塔的層數

Double Greediness , //貪婪度，搜尋啟發式，一般都設為0.9，越高速度快容易出現找不到的情況

Halcon::HTuple* Row, //輸出比對位置的行坐标

Halcon::HTuple* Column, //輸出比對位置的列坐标

Halcon::HTuple* Angle, //輸出比對角度

Halcon::HTuple* Score ) //輸出比對品質

進一步分析：

注意Row、Column的坐标并不是模闆在搜尋圖像中的精确位置，是以不能直接使用他們。這些數值是為了建立變換矩陣被優化後的，你可以用這個矩陣的比對結果完成各種任務，比如調整後續步驟的ROI。

Score是一個0到1之間的數，是模闆在搜尋圖像中可見比例的近似測量。如果模闆的一半被遮擋，該值就不能超過0.5。

Image的domain定義了模型參考點的搜尋區域，模型參考點是在create_shape_model中用來建立模型的圖像的domain區域的重心。不考慮使用函數set_shape_model_origin設定不同的初始位置。在圖像domain區域的這些點内搜尋模型，其中模型完全屬于這幅圖像。這意味着如果模型超出圖像邊界，即使獲得的品質系數(score)大于MinScore也不能找到模型。這種性能可以通過set_system(‘border_shape_models’,‘true’)改變，這樣那些超出圖像邊界，品質系數大于MinScore的模型也能找到。這時那些在圖像外面的點看作是被遮擋了，可以降低品質系數。在這種模式下搜尋的時間将要增加。

參數AngleStart和AngleExtent确定了模型搜尋的旋轉角度，如果有必要，旋轉的範圍會被截取成為create_shape_model函數中給定的旋轉範圍。這意味着建立模型和搜尋時的角度範圍必須真正的重疊。在搜尋時的角度範圍不會改變為模2*pi的。為了簡化介紹，在該段落剩下的部分所有角度都用度來表示，而在find_shape_model函數中使用弧度來設定的。是以，如果建立模闆時，AngleStart=-20°、AngleExtent=40°，在搜尋模闆函數find_shape_model中設定AngleStart=350°、AngleExtent=20°，盡管角度模360後是重疊的，還是會找不到模闆的。為了找到模闆，在這個例子中必須将AngleStart=350°改為AngleStart=-10°。

參數MinScore定義模闆比對時至少有個什麼樣的品質系數才算是在圖像中找到模闆。MinScore設定的越大,搜尋的就越快。如果模闆在圖像中沒有被遮擋，MinScore可以設定為0.8這麼高甚至0.9。

NumMatches定義了在圖像上找到模闆的最大的個數。如果比對時的品質系數大于MinScore的目标個數多于NumMatches，僅僅傳回品質系數最好的NumMatches個目标位置。如果找的比對目标不足NumMatches，那麼就隻傳回找到的這幾個。參數MinScore優于NumMatches。

如果模型具有對稱性，會在搜尋圖像的同一位置和不同角度上找到多個與目标比對的區域。參數MaxOverlap是0到1之間的，定義了找到的兩個目标區域最多重疊的系數，以便于把他們作為兩個不同的目标區域分别傳回。如果找到的兩個目标區域彼此重疊并且大于MaxOverlap，僅僅傳回效果最好的一個。重疊的計算方法是基于找到的目标區域的任意方向的最小外接矩形(看smallest_rectangle2)。如果MaxOverlap=0, 找到的目标區域不能存在重疊, 如果MaxOverla p=1，所有找到的目标區域都要傳回。

SubPixel确定找到的目标是否使用亞像素精度提取。如果SubPixel設定為’none’(或者’false’ 背景相容)，模型的位置僅僅是一個像素精度和在create_shape_model中定義的角度分辨率。如果SubPixel設定為’interpo lation’(或’true’)，位置和角度都是亞像素精度的。在這種模式下模型的位置是在品質系數函數中插入的，這種模式幾乎不花費計算時間，并且能達到足夠高的精度，被廣泛使用。然而在一些精度要求極高的應用中，模闆的位置應該通過最小二乘調整決定，比如通過最小化模闆點到相關圖像點的距離。與 ‘interpolation’相比，這種模式需要額外的計算時間。對于最小二乘調整的模式有：‘least_squares’, ‘least_squares_high’, 和’least_squares_very_high’。他們可用來定義被搜尋的最小距離的精度，選擇的精度越高，亞像素提取的時間越長。然而，通常SubPixel設定為’interpolation’。如果希望設定最小二乘就選擇’least_squares’， 因為這樣才能確定運作時間和精度的權衡。

NumLevels是在搜尋時使用的金字塔層數，如有必要，層數截成建立模型時的範圍。如果NumLevels=0，使用建立模闆時金字塔的層數。另外NumLevels還可以包含第二個參數，這個參數定義了找到比對模闆的最低金字塔層數。NumLevels=[4,2]表示比對在第四層金字塔開始，在第二層金字塔找到比對（最低的設為1）。可以使用這種方法降低比對的運作時間，但是這種模式下位置精度是比正常模式下低的，所謂正常模式是在金字塔最底層比對。是以如果需要較高的精度，應該設定SubPixel至少為’least_squares’。如果金字塔最底層設定的過大，可能不會達到期望的精度，或者找到一個不正确的比對區域。這是因為在較高層的金字塔上模闆是不夠具體的，不足以找到可靠的模闆最佳比對。在這種情況下最低金字塔層數應設為最小值。

參數Greediness确定在搜尋時的“貪婪程度”。如果Greediness=0，使用一個安全的搜尋啟發式，隻要模闆在圖像中存在就一定能找到模闆，然而這種方式下搜尋是相對浪費時間的。如果Greediness=1，使用不安全的搜尋啟發式，這樣即使模闆存在于圖像中，也有可能找不到模闆，但隻是少數情況。如果設定Greediness=0.9，在幾乎所有的情況下，總能找到模型的比對。

轉載自halcon學習網Trevan文章。