如今，随着物聯網、協同/自主機器人、網絡實體系統、服務網際網路的興起，工業格局正在經曆第四次革命。這種轉型，也被稱為工業4.0，是物聯網與實體系統互聯的新領域。它混合了軟體、傳感器、處理器和通信技術。是以，它在使物體能夠将資訊輸入網絡并最終增加制造過程的價值方面發揮了巨大的作用。工業4.0的最終目标是基于圖1中引用的一系列技術，為工業網絡資訊應用建構一個開放的智能制造平台。這個概念被描述為“智能工廠”，旨在将虛拟世界和現實世界融合在一起。工業機器人在工業4.0中扮演着重要的角色。在過去的幾十年裡，他們參與了相當多的活動。它們正變得更加協作、高效、靈活、安全和多才多藝，它們具有互相互動和與人類安全共事的巨大能力。在大型制造業以及中小型企業中，為工業機器人程式設計需要花費大量的時間。是以，随着這場革命而出現的一種新的工業機器人程式設計方法就是增強現實(AR)。“增強現實”是一種将數字資訊轉化為圖像或視訊的可視化方式。AR應用于工業任務已經超過20年，例如，它隻能用于資訊可視化甚至互動。在過去的幾年裡，AR廣泛地參與了不同的領域和活動。
值得注意的是，它參與到教育中來，增強學生的學習動機，訓練教師變得更有效率。它還促進了工業生産線或維護任務的數字化。本文回顧了随第四次工業革命而出現的基于ar的工業應用，如維護、裝配、遠端輔助以及人機互動和機器人程式設計。
随着工業4.0、數字化和智能工廠的出現，許多制造商開始探索增強現實技術在智能工業環境中的優勢。“增強現實”是将虛拟對象內建到現實世界中。是以，它通過在真實物體旁邊出現虛拟物體來增強真實性。保羅·米爾格拉姆教授是第一個提出現實-虛拟概念的人。混合現實連續體，如圖2所示，是真實環境和虛拟環境之間的一維數組。
之後，作為對米爾格拉姆混合現實的褒義，Mann提出了圖3所示的中介現實的概念，用以修改真實視圖，而不僅僅是添加它。
本文回顧了最近在工業4.0中使用增強現實技術的項目。在上一階段，AR在智能工廠的使用涉及并采取了不同的幹預。在2014年之前，AR的大部分用例都是用于資料可視化，以幫助員工或者改進維護任務。在那之後，由于遠端協助和/或維護，它被開發來幫助員工。并開始用于人機互動協作、機器人程式設計和機器人軌迹規劃。基于對2012年以來實作的大部分項目的分析，說明AR是如何在工業4.0中實施的。
資料可視化、仿真與設計資料顯示與仿真是增強現實技術在一般和特殊制造領域的基本應用之一。顧名思義，它隻是将資料庫中的資訊投影到使用者界面以供不同用途。
在2012年的設計使用基于“增大化現實”技術的應用程式除了其他一些工業應用,然後一年之後,j . Novak-Marcincin建議類似的模型,使一個使用者相關制造過程可視化資訊,附加的文本和聲學資訊相關的工作環境,條件和對象。
2014年，HC Fang展示了一個基于HRI ar的界面，旨在幫助使用者在真實工作環境中與虛拟機器人進行互動。他采用了基于AR工具包的手持式裝置跟蹤方法，該方法是一個帶有探針的标記立方體和虛拟機器人注冊。它允許使用者與工作環境的空間資訊互動。它可以指導虛拟機器人進行路徑規劃和末端執行器的定位規劃。實際工作環境、虛拟機器人模型、軌迹資訊以及互動過程通過螢幕顯示出來。同年，V. Paelke也提出了類似的申請。同年又提出了另一個具體的制度。Lofvendah與ABB合作開發了一個android應用程式，該應用程式使用AR顯示ABB工業機器人SafeMove坐标。該應用程式旨在幫助工程師驗證SafeMove設定。首先，使用者在SafeMove中輸入坐标，該坐标将建立一個區域，然後建立其虛拟模型。然後，他們需要跟蹤機器人，以便放置安全區的虛拟模型。他們在真正的機器人周圍放置了幾個基準标記，以便知道該把模型放在哪裡。增加了一個功能，允許調整安全區。接下來，需要對虛拟模型和真實模型進行校準。最後，需要在機器人和應用程式之間進行最後一次通信。要使用該應用程式，使用者必須手持平闆電腦，并将其指向機器人，然後他将在螢幕上看到帶有虛拟安全區的增強對象，以及機器人可能的動作和可觸及的區域。最後，他們與ABB員工一起測試了他們的應用程式。他們面臨的一個問題是一直拿着手機。是以，一種解決方案是用可穿戴裝置替代平闆電腦，比如AR頭戴裝置。
2015年，一個增強現實互動空間在意大利展出。它的目标是可視化和與虛拟對象和模型互動。
在同樣的背景下，J. Chardonnet在2017年基于AR開發了CNC輔助機床。它在平闆電腦或可穿戴裝置上投射有關過程狀态的個性化資訊和機器的實時3D模拟。同年，S. Suto釋出了一個基于ar的人機協作仿真應用。他的主要想法是利用Kinect傳感器将人類的手勢數字化，以在虛拟空間中模拟碰撞，進而避免在真實空間中發生碰撞。此外，它還能夠為機器人生成無碰撞的軌迹。作為一種常見的應用，D. Mourtzis最近開發了一種基于ar的計算機輔助制造系統，該系統可以提供資訊文本、安全區域、逐漸操作說明和其他訓示，如圖5所示。
該系統提高了對出現問題的思考和解決效率。該公司還在2018年預先設計了一種基于觸摸屏的互動界面，以增強人機互動。該原型允許使用者設計自己的物體形狀，并将産品轉換成g碼，然後列印出來。該應用，以及所有提出的原型和系統，證明了該技術的性能，使模型的仿真，可視化的虛拟對象，并與他們的互動如真實一樣容易。
維護大約占生産生命周期核心活動的60%到70%。由于意外的機器故障可能會耗費大量時間，而且會直接影響生産力，是以AR已成為處理日益複雜的維護過程的一種啟用技術。R. Palmarini在他的系統文獻綜述(SLR)中突出了AR在維護應用程式中的幾個實作。圖6代表了在整個30個研究中AR在維護中被使用的應用領域。迪尼也得出了同樣的結果。機械領域是應用的最高領域，如下圖所示，它包括不同部門的維修活動，如航空、汽車和軍事…在同樣的單反中，帕爾馬裡尼也提到了維護操作的比例:33%的拆卸和裝配操作，26%的修理操作，26%的檢查和診斷以及15%的教育訓練操作。
後來，他提出了一種基于ar的維護方法。他的創新系統旨在通過指導員工确定每項不同操作的要求和限制來支援維護任務。方法是開發一個問題清單，直接對問題的要點有幫助。Webel将教育訓練定義為将維護技能傳授給技術人員的過程。他開發了一種基于多模式ar的維修技能教育訓練的新方法。Mourtzis在一個使用增強現實技術的用于遠端維護支援的産品服務系統平台中提出。這個平台使技術人員和制造商專家能夠交流維護說明，交換資料和回報報告。圖7詳細說明了此解決方案的建議架構。它由三個步驟組成，每次執行三個步驟:(i)編寫故障報告，(ii)診斷和生成AR維護指令，(iii)維護和評估。首先，系統為計劃維護或意外故障注冊一組特性的報告，然後将其發送給維護支援提供者。檢視報告後，它建立一個增強的故障報告，其中包含一個基于雲的回報機制，将在短時間内發送給制造商。如有需要，專家可協助技術人員進行AR指導。該系統的硬體設計使用了三種主要裝置:一套光學透明增強現實眼鏡、一台筆記本電腦和一台移動裝置。
對于一個無手視覺系統，他們使用AR頭戴裝置。然後，計算機是負責執行AR應用程式和通信處理程式的元素。第三個要素是移動裝置，它考慮了營運商和增強現實應用程式之間的通信接口。AR在維修中的應用有很多執行個體。之前的文獻引用了維護和維修任務的不同應用。所有之前的研究和工業項目都證明了在維修中使用增強現實技術可以減少機器故障時間，提高員工更快地解決問題的能力。
裝配和/或拆卸是産品生命周期中不可避免的關鍵過程。X. Wang發表了一篇非常詳細的AR組裝研究綜述。他将裝配定義為将某些部件組合在一起，以形成所期望的具有良好附加值的産品的操作。此外,他解釋了如何基于“增大化現實”技術解決了裝配中的兩個主要問題是:1)使用者需要确定技術規範和限制如交配表面、軸和邊緣是一個非常複雜的任務,2)3 d軟體不能幫助使用者直接互動的部分沒有手動操縱它們。然而，AR的出現是為了在使用者和産品之間建立一種務實的協同作用，它将所有增強和真實的對象結合在一起，并使操作各個部分成為可能。ARDIS是M提出的用于産品拆卸的ar指導應用。張。ARDIS自動生成資訊，無需任何外部/人工幹預。是以，它使拆卸過程更加直覺和高效。結果表明，該方法的應用對再制造作業也有很大的影響。MotionEAP是另一款德國研發的AR工業組裝接口。MotionEAP有許多功能和選項，例如1)它向勞工和所有步驟發送指令，2)它識别勞工的活動和實際的裝配步驟，3)它能夠在不同的級别提供視覺回報。另一個由C提出的德國AR組裝接口。Kollatsch，如圖8所示。
它主要由四個階段組成。首先，從真實的裝配線和真實的對象開始進行過程資料的采集。然後，系統收集所有的零件資訊和細節，首先傳送，然後存儲在資料庫中。最後，是項目必要的協助，以使用者完成組裝操作。Kollatsch選擇了一個Android裝置來可視化他的組裝應用程式。大多數受訪勞工在裝配過程中對使用這種應用程式給予了積極的回報。最近，Danielsson采用了類似的方法，但他将手持裝置換成了AR頭戴式裝置，即AR眼鏡。在他的工作中，他展示了關于在汽車裝配中使用這種技術的使用者采訪的結果。所有提出的基于ar的系統都在整個裝配或拆卸過程中為使用者提供幫助。它提供了組裝過程的正确資訊和操作的逐漸方法。
遠端協助，通常稱為see-what-I-see遠端合作，是随時随地與專家現場連接配接的能力。無論何時出現緊急問題或複雜問題，工作場所的員工都可以很容易地與外部專家取得聯系，進行快速診斷。這種增強現實應用是雙方實時共享的接口。工廠中的維護任務是非常關鍵的，是以需要快速有效的幹預。D. Mourtzis和M. Fiorentino粗略地介紹了使用AR進行遠端維護。然後，Fiorentino對這方面的效率進行了評估。幾乎相同的是，介紹的ACAAR系統允許使用者添加數字資訊，如文本、圖檔或計算機輔助設計(CAD)模型。此外，它還可以解釋有關所需維護任務的内容。F. Ferrise在AR申請中建議進行遠端維護。它的目的是使位于控制室的專家與位于承諾上的普通技術人員連接配接起來。
如圖10中的示例所示，專家通過使用符号、文本和一些資訊指出問題所在。一名從業人員攜帶着一個增強現實裝置，該裝置可以記錄他所看到的實時視訊流以及其他資料，如傳感器資訊。視訊必須從外面發送給專家，他可以提供精确的解決方案和額外的實時資訊，是以他不需要搬到工廠解決問題。所有以前的應用程式和工業代理誰測試了這項技術在他們的實驗室證明，遠端協助減少了機器停機時間，節省了金錢和時間。
為工業機器人程式設計的方法每天都在增加，以使其更容易、更快和更便宜。Z. Pan在他的綜述《工業機器人的不同程式設計方法》中詳細介紹了。他讨論了兩種傳統的程式設計方法:線上和離線機器人程式設計(OLP)。在線上程式設計過程中，機器人操作員手動移動機器人來執行簡單的任務。這是一個有效的方法，但逾時它不能處理複雜的程式。OLP使用3D CAD模型生成程式。操作員在将程式下載下傳到真正的機器人前，可以對程式進行檢查和模拟，如安全區、可達性、動作等。在OLP中甚至可以使用額外的傳感器。這種方法比線上程式設計更複雜，需要更多合格的工程師和更多的時間。最近，增強現實技術開始被用于使機器人程式設計變得非常簡單，以至于任何非專業的機器人程式員都能夠設定任何工業應用程式。虛拟現實技術在機器人程式設計中的主要應用是人機互動、機器人操作和路徑軌迹規劃。
工業4.0帶來了人機協作的革命，并引入了人機協同工作的機器人，也被稱為“cobots”。協同機器人正變得越來越有适應性，并且意識到他們的合作者。這就産生了關于互動和協作過程的研究。的建議和最成功的技術之一是基于“增大化現實”技術。它被用作:一個接口,用于可視化和互動的,三分之一的觀點為機器人的意圖可視化呈現,一個應用程式來支援HRI和合作等,一個示教器接口中定義,或一個接口,用于指導使用者在示範了在一個陌生的裝配操作。Maly對AR界面在人機互動中的應用進行了評價。在他開發了一個用于工業機器人可視化的增強現實應用程式，突出了機器人的部分部件和安全區域檢測之後，他對他的原型進行了評估。六名參與者參與作業系統的功能。他們都對資料的可視化表示滿意，并很好地證明了手勢的快速，除了一些手勢檢測不正确，這意味着原型并不是100%的成功。本節介紹了一些基于ar的HRI，專門用于可視化和人機協作操作，但這并不是它用于機器人的唯一應用。最近，它開始不僅僅用于可視化，還用于機器人程式設計。
技術革命的目的是讓物體變得更加智能，這樣人類就可以很容易地與它們進行交流和處理。将AR應用于機器人操作也是為了使人與機器人的互動更容易，即使非專業操作人員也不需要浪費很多時間來練習如何移動或操作一個機器人，特别是在工廠中cobots數量的重要增加。2016年，Chryssolouris提出了一種機器人程式設計方法，隻使用肢體和手勢，不使用任何程式設計語言進行機器人操作。系統的架構如圖11所示。布局此應用程式中使用的方法。
進階機器人程式設計是通過使用由中間裝置或傳感器跟蹤的身體和手勢詞彙形式的指令來實作的。通過預定義的手勢，使用者可以控制機器人在x、y、z三軸上的移動，例如，要使機器人向+x方向移動，使用者必須向上伸出右手，向下按住左手。要沿着y方向移動，操作者必須将右手伸到肩膀的高度并指向左側。同年，又提出了另一個類似的制度。這個想法是關于一個增強現實手持裝置提供一個基于任務的機器人控制界面。他們用19個工業機器人程式員測試了這種方法，他們确認這種方法有效地減少了程式員在程式設計操作過程中的腦力需求以及所需的時間。一年後，我。王緻力于一個虛拟增強機器人裝配指令和指令的應用程式。R。Matarneh開發了一種機器人裝配過程模型的語音控制方法。最近在2018年，J。Wassermann提出了一種全新的方法，旨在操縱基于雲系統的機器人。主程式生成控制指令，然後建立AR仿真和碰撞檢測。增強現實技術提供了許多強大的功能，幫助非專家的從業人員在機器人程式設計任務。此外，它減少了程式設計過程中的錯誤風險，提高了指令的效率。
機器人協同操作對路徑和軌迹規劃有很高的精度要求。使用增強現實技術編寫協作機器人時，最困難的問題之一是機器人的遙操作，是以規劃機器人的路徑。2012年，新加坡首次提出了使用AR進行路徑規劃和末端執行器定位的研究。所建議的方法，如圖12所示，旨在從一系列碰撞自由體積(CFV)中建立一條路徑。然後通過凸優化方法對路徑進行優化，得到最佳時間軌迹。最後對虛拟機器人和規劃軌迹進行了仿真。
研究人員測試了這個方法來完成挑選和放置任務，如圖12所示。(e)和(d)，但是這項工作是為虛拟機器人而不是真實的機器人。兩年後的2014年，該研究小組提出了一種基于歐幾裡得距離的方法。
圖13說明了CFV方法在建議方法中的應用。首先，通過記錄互動裝置的運動建立一個虛拟球體和一個CFV區域。然後，通過移動互動裝置記錄一個參數軌迹。然後，利用歐幾裡得距離法從空間點形成無碰撞軌迹到感興趣點。當機器人路徑生成後，CFV驗證機器人的EE在移動過程中是否仍然沿着CFV。該方法也為機器人所有運動系統的無碰撞軌迹提供了可能。實驗結果表明，該方法作為一種教學方法，具有較高的精度。下一個基于ar的機器人路徑規劃是C. Chu在2016年提出的。通過執行個體證明，該方法能夠有效地促進機器人路徑規劃的實作。首先，通過外部視覺裝置捕獲、分析和處理真實物體。然後，将結果與所提供的虛拟對象相結合。最後，當檢測到與障礙物或物體發生碰撞時，系統會實時釋出視覺資訊。2017年，M. Tessarotto提出了一種基于AR的工業機器人路徑規劃方法，該方法側重于離線的AR而不是線上程式設計，與所有基于AR的機器人程式設計和路徑規劃方法一樣，即使對于不熟練的操作人員，也變得可行且容易。記錄軌迹是該方法的第一步。操作員通過軟體界面或HTC Vives控制器記錄軌迹，用于線上機器人程式設計。記錄軌迹後，它可以在整個程式中虛拟顯示和修改。過濾可能的修改是:“距離”,删除一些點的軌迹平滑運動,“壓扁”改變每一個點的路徑平滑它本身,“抵消”移動軌迹,以用于不同的環境和“隻可及”的規範,使軌迹是否必須包含所有的點或者排除點無法達到機器人。随後，需要一系列“位置/時間”或“位置/速度”軌迹形式組合，以建立要發送給控制器的機器人程式。最近在2018年，“ARTool Zero”架構被提出來支援使用者進行軌迹規劃。它也使産生以及模拟的部分程式，指導觸摸探針識别必要的幾何特征。ARTool Zero使用标記将整個移動裝置的坐标顯示到機器上，目标是将空間中的2D平面轉換為3D平面。大多數現有的機器人路徑規劃方法是耗時的，可能需要複雜的軟體工具，這意味着專家工程師開發的程式。新的使用者友好的基于ar的路徑規劃功能使這一操作更容易，甚至可能的非專業工作者。大部分的作品使用AR可視化建議的路徑和無碰撞軌迹。基于ar的路徑規劃程式的數量正在增加，這些程式除了簡單的人工幹預外，還允許高效、輕松地程式設計軌迹。
總結
這篇文獻綜述讨論了自2012年以來AR在工業工廠的應用演變。基于本文所介紹的項目，AR技術已在多個領域得到應用。然而，利用的類型是随着時間而演變的。在一開始，幾乎所有的應用都是為了資料可視化，包括仿真和設計，這意味着三維産品或與真實物體相關的特殊資訊的可視化。然後，它被用來在維護操作或裝配/拆卸期間支援勞工，AR系統顯示由系統本身生成的輔助資訊。與此同時，遠端協助操作似乎在遠端協助遠在工廠之外的專業工程師現場的技術人員。遠端協助主要用于維護任務和意外的機器故障。此外，随着協同機器人的日益存在，增強現實技術正被用于人機互動。類似地，它從可視化任務開始，然後是人工輔助。直到最近，增強現實技術在工業4.0中被用于機器人操作和軌迹規劃。雖然它最近實作了機器人程式設計，但基于ar的功能仍然可以更強大，需要在這個領域進行開發。此外，随着協同機器人的發展及其在工廠中的重要作用，HRI和任務操作應該對任何勞工都是可行的，盡可能簡單。這将減少成本和時間的程式設計機器人，以及增加效率和有效性，以及。是以，在這一背景下還需要做更多的研究。
關于effiar
effiar是專注工業領域的AR工業雲平台，支援國内外多款主流智能眼鏡。使用effiar平台，無需技術就可以通過effiar任務管理中心進行拖拽等簡單操作，為特定業務場景定制智能眼鏡方案應用。該平台包括專家遠端協作、工作流、AR、資料互聯、多媒體知識庫等多個子產品，使用者可以根據業務需要自由剪裁或者互相嵌套。AR巡檢、AR工業應用及AR遠端協助等可以直接在effiar平台使用，無需繁雜步驟即可上手。
詳情可通路effiarAR工業雲平台