閱讀文章前辛苦您點下“關注”，友善讨論和分享，為了回饋您的支援，我将每日更新優質内容。
文/清月夜話
編輯/清月夜話
近年來，視覺和機器人系統在工業中的存在已經變得很普遍，但盡管取得了許多成就，由于視覺系統在處理高度适應性制造環境時的靈活性不足，許多工業任務仍然沒有得到解決。
在廣泛的現代柔性制造環境中，一個重要的任務是需要将零件從供應容器中提供給自動化機械。為了安全高效地進行抓取和操作操作，我們需要知道位于容器中無結構堆積的物體的身份、位置和空間方向。
從曆史上看，曾經使用機械振動送料器來解決容器取料問題，但缺乏視覺回報。這種解決方案在零件卡住和更重要的情況下存在問題，因為它們高度專用。
在這方面，如果需要改變制造過程，換線可能需要進行大量的重新工具化和系統控制政策的全面修訂。由于這些劣勢，現代的容器取料系統使用視覺回報來執行抓取和操作操作。
自從工業中引入自動化視覺控制過程以來，基于視覺的機器人容器取料一直是研究的課題，而對現有系統的回顧表明，提出的解決方案都無法解決這一經典視覺問題的普遍性。
這種容器取料系統面臨的主要挑戰之一是其處理重疊物體的能力。在雜亂場景中的物體識别是這些系統的主要目标，早期的方法試圖在無結構堆積中混在一起的相似物體上執行容器取料操作，但對零件的姿态或幾何形狀沒有任何了解。
雖然這些假設可能對有限數量的應用是可以接受的，但在大多數實際情況下，一個靈活的系統必須處理多種類型的具有廣泛形狀的物體。
一個靈活的容器取料系統必須解決三個困難的問題：場景解釋、物體識别和姿态估計。最初解決這些任務的方法是基于使用2D表面表示對零件模組化。典型的2D表示包括不變形狀描述符、代數曲線、圓錐曲線和基于外觀的模型。
這些系統通常更适用于平面物體識别，無法處理嚴重的視角失真或具有複雜形狀/紋理的物體。此外，自由形狀輪廓的物體的空間定位也無法得到穩健的估計。為了解決這個限制，大多數容器取料系統嘗試使用三維資訊來識别場景物體并估計其空間方向。
值得注意的方法包括使用3D局部描述符、多面體、廣義圓柱體、超橢球體和視覺學習方法Mittrapiyanuruk等人提出，基于物體結構描述的3D容器取料系統面臨的最困難問題是執行場景到模型特征比對所需的複雜過程。
這個過程通常基于複雜的圖搜尋技術，在處理物體遮擋時變得越來越困難，這種情況下場景物體的結構描述是不完整的。基于特征圖分析的視覺學習方法已被提出作為解決具有複雜外觀的物體的物體識别和姿态估計的替代方案。
在這方面，Johnson和Hebert開發了一種能夠在受雜亂和遮擋影響的場景中識别多個3D物體的物體識别方案。他們提出了一種應用于使用自旋圖像表示來比對表面點的特征圖分析方法。
這種方法的主要優勢在于使用自旋圖像作為局部表面描述符；是以，在包含雜亂和遮擋的實際場景中，它們可以很容易地被識别出來。這種方法傳回準确的結果，但無法推斷出姿态估計，因為自旋圖像是局部描述符，無法穩健地捕捉物體的方向。
通常情況下，視覺學習方法的姿态采樣是一個難以解決的問題，因為為了采樣物體姿态的全部6個自由度所需的視角數量是禁止的。在Edwards的論文中，他将特征圖分析應用于一個單一物體的場景，他的方法隻能在傾斜角度相對于傳感器光軸限制為30度的情況下估計姿态。
系統概述
範圍傳感器使用不同的焦點設定捕獲的兩幅圖像确定深度結構。然後進行圖像分割過程，将輸入圖像分解為不相交的有意義的區域。從圖像分割過程得到的場景區域經過正交投影，将它們與傳感器的光軸垂直對齊。
此操作将為每個物體确定2個自由度。識别架構包括将從分割區域派生的幾何基元與模型資料庫中的基元進行比對。最符合比對标準的物體然後被送出給姿态估計算法，該算法通過使用主成分分析方法限制物體圍繞範圍傳感器的光軸旋轉。一旦估計出物體的姿态，被識别物體的抓取坐标被傳遞給容器取料機器人。
範圍傳感器
該應用中使用的範圍傳感器基于主動的透鏡除焦深度測量技術。這種測距技術最初由Pentland作為一種被動測距政策進行了開發。DFD測距感測的原理是基于場景物體相對于其在空間中的位置進行成像。
這樣，放置在焦平面上的物體在相機的感應元件上成像清晰，而位于物體表面上的點從焦平面偏移，通過鏡頭折射成一個大小與從焦平面到成像物體的距離直接相關的更新檔。
除焦更新檔的直徑取決于物體距離u，鏡頭孔徑D，傳感器距離s和焦距f。雖然一幅圖像無法解決場景物體是放置在焦平面前方還是後方的不确定性，但通過測量在不同焦點設定下捕獲的兩幅圖像的模糊差異，可以唯一地估計深度。通過改變傳感器距離s來捕獲除焦圖像。
由于圖像中的模糊程度可以被視為與低通濾波器的卷積，為了估計圖像中的模糊程度，我們需要用提取從場景物體獲得的高頻資訊的焦點算子來卷積圖像。然而，僅當場景物體高度紋理化時，這種方法才能傳回準确的結果。
當處理弱紋理和非紋理場景物體時，這種方法傳回的深度估計不準确。為了解決這個問題，一個解決方案是在場景上投射結構化光，以強制所有可見表面上的人工紋理。盡管人工紋理具有已知的模式，但焦點算子被設計為對圖像中與照明模式相關的主頻率做出強烈響應。
場景分割過程
在開發機器人系統時，一個重要的決策是決定哪種感覺資訊更适合特定的應用。Henderson建議使用關于定義場景的物體的資訊來進行場景分割。在這方面，如果場景中的物體高度紋理化且深度不連續性顯著，那麼在分析範圍資料時将獲得最佳結果。
相反，如果場景由小的無紋理物體定義，如果在強度圖像上應用分割過程，可能會獲得更好的結果。盡管我們的應用涉及一組無紋理多面體物體的識别，但科研人員開發了一種基于邊緣的分割方案來識别場景物體的可見表面。
邊緣與像素強度分布中的尖銳轉換相關聯，通過計算輸入資料的偏導數來提取邊緣。邊緣檢測是計算機視覺中研究最多的主題之一，到目前為止，還沒有一種邊緣檢測器能夠适應由圖像噪聲和輸入資料中有意義區域之間的低對比度引起的問題。
是以，邊緣檢測器傳回的邊緣結構要麼不完整，由于輸入資料分布的低變化造成間隙，要麼包含由圖像噪聲、陰影等引起的虛假邊緣。是以，在邊緣檢測之後，會應用額外的後處理來消除虛假邊緣響應，并填補邊緣結構中的間隙。
用于填補邊緣結構中間隙的方法包括形态學方法、霍夫變換、機率松弛技術、多尺度邊緣檢測方法以及包括顔色等附加資訊。
從這些技術中，最常見的是形态學和多尺度邊緣連接配接政策。一般來說，形态學邊緣連接配接技術使用邊緣終端周圍的局部資訊，而多尺度方法嘗試通過彙總在具有不同空間分辨率的圖像堆棧中包含的資訊來填補邊緣結構中的間隙。
多尺度方法的主要缺點在于計算圖像堆棧所需的高計算成本，在實作中，科研人員開發了一種形态學邊緣連接配接方案，評估邊緣終端的方向以識别最佳連接配接決策。
邊緣連接配接
為了提取成像的場景物體的表面，我們開發了一個多步邊緣連接配接方案，與一個使用ISEF函數提取偏導數的邊緣檢測器一起使用。
選擇使用ISEF基礎的邊緣檢測器的原因是，它在檢測真正邊緣方面的性能與更常見的Canny邊緣檢測器相當，但ISEF邊緣檢測器的計算成本比Canny邊緣檢測器相關的計算成本要低。
在實作中，科研人員将比例參數設定為0.45，通過一種方案選擇了hysteretic門檻值所需的門檻值參數，該方案可以最小化通常由圖像噪聲産生的小邊緣段的發生。如前所述，通過ISEF檢測器傳回的邊緣結構将進一步使用多步形态學邊緣連接配接政策進行後處理。
邊緣連接配接算法的第一步涉及提取邊緣終端。邊緣點提取需要一個簡單的形态學分析，其中邊緣結構與一組3×3掩膜進行卷積。算法的第二步通過評估生成邊緣終端的連結邊緣點來确定邊緣終端的方向。
資料格式化
科研人員的應用實作了一個視覺傳感器，能夠為抓取機器人提供執行物體操縱所需的資訊。由于感興趣的物體是多面體，一個友善的表示方法是用它們的表面來描述它們，這些表面由前面部分較長的描述的場景分割算法所識别。
是以，對象識别任務可以用對象的可見表面與存儲在模型資料庫中的表面進行比對來表述。盡管在概念上很簡單，但由于對象表面的幾何特性依賴于視點，這種方法在實踐中相當困難。
為了解決這個問題，我們需要将場景分割過程産生的所有可見表面與一個垂直于測距傳感器光軸的平面對齊。試圖使用測距傳感器傳回的3D資訊來限制兩個自由度。
資料格式化過程的第一個操作涉及計算應用場景分割過程後得到的每個表面的法向量。由于物體表面是平面的，可以使用z坐标對x和y坐标的函數依賴性來計算法向量。
對象識别
如前所述，場景對象的識别被表述為在應用場景分割過程後識别其可見表面的識别，使用的方法計算采樣物體表面的幾何特性的特征。
盡管物體表面的幾何特性取決于其在空間中的定位，為了消除視點失真，分割的表面被送出給了一個3D資料格式化過程，将它們與光學軸對齊的一個平面對齊。算法的下一步處理是提取用于執行場景到模型識别過程的幾何基元。
已經使用過的方法包括提取局部特征，如交點、線條和部分輪廓，以及宏觀特征，如面積、周長和統計特征。與宏觀特征相比，當處理受到混雜和遮擋影響的場景時，局部特征可能更合适。
但是值得注意的是，基于局部特征的方法依賴于感興趣物體的詳細結構描述，當處理複雜場景時會生成大量假設，這需要開發複雜的場景與模型比對程式。
雖然我們的目标是識别一組多面體對象，但宏觀特征代表了一個更好的選擇，因為分割的表面是平面的，可以很容易地索引以描述對象的結構。為此，科研人員采用了面積、周長、形狀因子和從表面重心到表面邊界的最大和最小半徑的距離等特征。
開發的對象識别算法包括兩個主要階段。訓練階段包括通過提取上述特征為對象的每個表面建構資料庫。由于涉及的特征具有不同的範圍，為了解決這個問題，我們應用了一個特征歸一化過程，其中每個特征都被歸一化為零均值和機關方差。比對階段包括計算場景表面的歸一化特征與模型資料庫中的對象表面的歐氏距離。
DOF姿态估
正交變換隻能限制兩個自由度，即圍繞x和y軸的旋轉。經過這種正交變換的表面垂直于測距傳感器的軸線，可以使用主成分分析來估計關于z軸的表面旋轉。該過程涉及從一組訓練圖像計算特征空間表示，這些圖像是通過将物體表面以小增量旋轉而生成的。
為了估計關于z軸的旋轉，所有識别出的場景表面都會投影到特征空間上，并将它們的投影與存儲在模型資料庫中的投影進行比較。輸入表面的投影與模型資料庫中包含的投影之間的最小距離給出了最佳比對。