天天看點

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

文章目錄

  • A Fully Sensorized Cooperative Robotic System for Surgical Interventions
    • 摘要
    • Introduction
    • Materials and Methods
      • 流程
      • 機器人控制模式
      • 機器人台車
      • 握把和針刀刀架
      • 控制系統
        • 應用控制器
        • *機器人傳感器接口
        • *流程圖
        • 機器人控制回路
        • 裝置網連結
        • 導航
      • 系統轉換
      • 配準(Registration)
      • 标定(Calibration)
        • Robot Pivot Calibration
        • pair point method
        • Determination of the Rigid Transformation
      • 使用者控制模式
    • Results and Discussion
      • Accuracy Tests for Targeting a Needle
    • 結論/展望
    • 問題
  • Asensus Surgical

A Fully Sensorized Cooperative Robotic System for Surgical Interventions

一種基于NDI導航和協作機械臂定位的手術機器人系統,雖說這是一篇2012年的論文,但是這個領域目前可以說是最近的風口了,不做深究,但是特此學習一下。

摘要

在這項研究中,提出了一種用于針操作的完全傳感協作機器人系統。該設定包括專為安全人機互動而設計的DLR / KUKA輕型機器人III,FD-CT機器人驅動的血管造影C型臂系統和導航錄影機。此外,還介紹了用于臨床環境中機器人操縱的新控制政策。提出了一種對相關元件進行快速校準的方法,并對整個可能的誤差鍊進行了初步的精度測試。使用導航系統對機器人進行的校準具有0.81 mm(rms)的殘留誤差,标準偏差為±0.41 mm。以工作空間内不同位置的固定點為目标的機器人系統的精度為1.2 mm(rms),标準偏差為±0.4 mm。校準後,由于閉環控制,絕對定位精度降低到導航錄影機的精度,即0.35 mm(rms)。所實作的控制使機器人可以補償患者的小動作。

Introduction

外科機器人是一個不斷發展的領域,曆史相對較短。第一次有記錄的醫療應用發生在1985年,在那裡進行了腦活檢[1]。外科機器人是一個跨學科的領域,其中許多組成部分互相交流。其中包括電機、齒輪和各種傳感器等機電裝置。手術機器人有很大的潛力改善病人護理[2]。他們比人類有一定的優勢**,例如,他們沒有20赫茲顫音或(人類固有的)**,可以更精确地遵循平滑的軌迹。在醫生接近輻射的手術中,使用機器人系統有助于避免暴露。

根據定義,外科醫生是手工。他用雙手用手術刀和剪刀切割紙巾,用手鋸剪骨頭,介紹螺絲,用線和線縫等。為了用機器人系統執行這些活動,它必須特别裝備大量的内部和外部傳感器。傳感器技術在現代手術室中非常重要,在未來的手術室中至關重要[2]。由于使用各種傳感器,手術機器人系統是可能的。與自動化行業部署的機器人(機器人元件與人類隔離)不同,手術機器人直接對患者器官施加力[3]。設計一個能夠直接接觸、壓壓和切割脆弱和重要器官的機器人,會解決一些問題。這些問題減緩了這一非常有希望的領域的實踐。

盡管與手術機器人有關的所有挑戰,也有一些成功的系統,有FDA的接受,是商業可用性能夠[4,5]。例如,DaVinci機器人(美國加利福尼亞州桑尼維爾的直覺外科公司)[4]是市場滲透率最高的系統,因為已經售出了超過1933台。其設計使外科醫生在通過身體的小切口時提高了靈巧性。該系統包括一個駕駛艙,外科醫生使用觸覺裝置遠端操作機器人,一個帶四臂的推車(其中三隻手臂,根據任務的不同,可能有鉗子,剪刀,拿着手術刀,另一隻手臂拿着一個拉皮鏡)和圖像處理裝置。另一個成功的手術機器人是CyberKnife®(美國加利福尼亞州桑尼維爾的Acuray公司)[5]。該系統有能力非常精确地照射惡性良性腫瘤,即使患者解剖因呼吸而移動[6]。這種方法的主要思想是避免損害惡性良性腫瘤周圍的健康組織。該系統包括一個線性加速器,安裝在六個自由度的機械臂的手腕上。機器人系統的任務是精确地将線性加速器對惡性良性腫瘤進行定位。對于視覺,該系統使用兩個配備平闆探測器的正交X射線錄影機。為了提高準确性,該系統包括一個用于實時患者跟蹤的導航系統。達芬奇和CyberKnife系統都使用各種傳感器來執行任務。

分析一些成功的手術機器人系統,可以發現它們是使用不同技術水準的孤立努力。專家們認識到 ,盡管許多解決方案試圖在臨床環境中引入自動化,但它離行業實作的标準化水準還很遠。标準化是外科機器人發展的關鍵 [2]。(醫療倫理相關)

機器人的機械部分使用特殊的傳感器不僅可以測量末端執行器的位置,還可以沿其運動學測量位置。 用于測量位置及其派生值的最常用技術是旋轉變壓器,帶有霍爾傳感器的光學編碼器和磁性編碼器。 感應技術為能夠與不斷變化的環境進行互動的機器人系統的開發打開了大門。 Hirzinger(德國航空航天中心機器人與機電研究所)開發了一種機器人系統,用于與人類進行安全互動[7]。 這些系統強大的順應性控制使使用者可以用手拉動或推動機械臂,并且系統将像沒有重量一樣運動。 這種控制方式通常稱為“軟機器人”或“動手機器人”。 MiroSurge系統使用類似的控制方案,被設計用于微創外科手術[8]。

機器人輔助的主要優點是在手術過程中增強或伸展外科醫生的手和眼睛。對于不熟悉機器人的使用者來說,控制手術機器人系統必須簡單直覺。是以,在開發一個外科機器人時,一個适當的人機界面是必不可少的。觸覺一詞在機器人中被定義為機器人、人類與真實、遠端或模拟環境之間的真實和模拟觸摸互動[9]。例如,Da-Vinci 系統利用觸覺裝置直覺地操作機器人 [4]。其他手術系統使用操縱杆 [10] 和觸覺裝置,如幻影 Omni 裝置(可感性技術公司,威爾明頓,美國 加利福尼亞州)

外科機器人發展的一個基本部分是它能夠 可視化手術區域。在實時方法中對可視化傳感模式進行分類非常有用,這些方法提供感興趣的區域的連續可視化,以及通常用于術前診斷和規劃的非實時方法 [11]。

常用的實時傳感方式是内窺鏡、超音波、熒光鏡和光學相幹斷層掃描 (OCT)。内窺鏡是可視化最成功的方法。它們通常用于微創手術 [5,12]。不幸的是,他們不能從組織内部提供進一步的資訊。相比之下,超音波從組織内部提供2D實時圖檔,但隻有熟練的 臨床醫生才能正确使用這種技術。Fluoro光譜是一種提供高空間分辨率的技術,可以解析亞毫米大小的物體。其 2D 圖像清楚地顯示不同材料(如骨骼和 肝髒)與不同組織密度(如心髒和肺)之間的對比度[13]。熒光鏡的最大限制是覆寫結構都減少到一個圖像 平面。

手術機器人中部署的最重要的非實時可視化 系統是 X 射線、計算機斷層掃描 (CT)、磁共振 (MR) 和正電子發射斷層掃描 (PET)。先前的工作是使用CT(例如,ROBODOC和CASPAR系統[14,15])完成的,用于完全臀部和膝蓋的置換。X射線技術被 用于網絡刀系統對目标位置進行本地化。MR 是提供最精确組織分化的成像技術。最近, 由 非金屬部件制成的專門設計的機器人可與 MR [16] 一起使用。

FD-CT 是一種将熒光(實時)和 CT(非實時)結合在單個裝置中的技術,由配備平闆探測器的 C 臂組成。與 X 射線膠片和圖像增強器相比,FD 技術可提供更高的動态範圍、減少資料、快速的數字讀出,同時保持緊湊的設計 [17]。盡管 FD-CT 提供比普通 CT 更高的空間分辨率,但它包含一些缺點,例如視野較小和時态分辨率較低 [17]。然而,FD-CT已經證明在規劃和術中手術中獨一無二[18[20]。C-臂的特點是靈活性和易用性;特别是,通過選擇任意的角化的可能性。

将機器人系統與成像裝置一起使用的障礙之一是,後期的龍門尺寸不夠大,不足以同時存儲一些機器人的患者和運動學[21]。許多碰撞問題産生于這些設定,這是許多耳塞已經建立了小型專用機器人系統,以适應剩餘的地方的原因之一。一個新的FD-CT系統(德國柏林工業公司,西門子醫療公司)采用機器人手臂(德國格斯特霍芬的庫卡機器人),提高運動靈活性[17,22]。該系統可用于靈活的術中成像,并可與其他機器人系統協調,以幫助外科醫生。

除了編碼器和成像裝置作為傳感模式外,還研究了本地化器,以分析其适合外科機器人應用的 bene[23,24]。這些裝置跟蹤儀器相對于患者解剖的位置。儀器可能是機械臂的手術工具。在 CyberKnife 系統中,部署了光學定位器來固定容易因呼吸而移動的患者的位置[5]。

在這項工作中,提出了一個完全傳感器化的機器人手術系統的概念和實作。拟議的系統利用了手術機器人手術中采用的各種概念,如觸覺、軟機器人、可視化和外部跟蹤。手術系統由兩個協調的機械臂組成。前者執行手術任務,另一個提供精确的目标可視化。該系統經過改造,通常将針頭插入解剖,以便提取組織樣本作進一步分析或注射藥物進行治療。作者着重介紹了系統中采用的傳感器技術。除了醫療環境中通常采用的傳統标準外,該系統還利用了自動化行業的标準。

Materials and Methods

在圖1中,顯示了主要系統元件的表示。為了插入針頭,使用了串行機器人系統。它的腕部裝有特殊的持針器。該機制允許臨床醫生手動插入針頭。機器人系統包括一個實時控制器(來自制造商)和一個應用程式控制器。它的設計旨在通過觸摸屏和工業操縱杆進行手動控制。為了将機器人系統輕松地沿着CT工作台放置,所有元件都安裝在移動手推車上。以這種方式,可以容易地将系統定位于患者床并從患者床移除。為了進行目标可視化,部署了配備平闆探測器的機器人驅動的血管造影系統。這種特殊的C形臂可以沿着手術台放置,提供全身覆寫。與僅繞固定位置旋轉的正常C臂相反,該成像系統可以進行調整以掃描具有不同角度和凸形軌迹的解剖目标。進行掃描後,它将重建的3D圖像發送到應用程式控制器進行規劃。此外,二維投影可用于獲得實時目标可視化。根據圖像,外科醫生可以選擇目标和合适的進入點。該系統的另一個重要部分是一個光學定位器,該光學定位器借助安裝在持針器上的參考鏡架精确跟蹤針的位置。此外,它還通過附在其上的參考架構跟蹤患者的位置。

  • 圖1.為皮下手術繪制完全內建的系統草圖
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

插入針頭時的自然觸覺回報會通過軌迹從周圍組織的特征中提供重要資訊。 在這些特征中,可以獲得不均勻的韌性群組織彈性的回報感覺。 是以,決定隻使用機械手來定位和定向針。 一旦機器人達到所需的針方向,外科醫生的任務就是小心地插入針。 這樣,可以将控制手術的臨床醫生的經驗考慮在内。 圖2顯示了介入套件中的主要系統元件。 血管造影系統(Artis zeego,西門子醫療)包括一個串行機器人(KUKA機器人),其腕部裝有C形臂。

  • 圖2. 介入套件中的系統設定
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

流程

大多數自動機針放置設定都利用Masamune等人介紹的工作流程。 [25]。盡管我們的系統的工作流程相似,但有一些創新之處。其中之一就是所謂的目标樞轉,它可以在固定目标時靈活地更改插入點。對于通常使用Masamune引入的工作流程的RCM機器人,這種方法是不可能的。建議的工作流程将在以下步驟中進行描述:

  1. 準備:根據[26]中所述的步驟,将患者固定在CT台上,并固定患者圖像配準裝置。
  2. 成像:使用血管造影C臂進行3D掃描。重建的CT圖像立即傳輸到導航服。
  3. 計劃:圖像在觸摸屏顯示器上顯示後,臨床醫生将定義進入點和目标點。
  4. 互動式定位:将機器人手推車放在患者旁邊。然後,臨床醫生用手握住機器人,激活互動式定位控件(将在下一個2.3節中進行介紹),然後移動機器人手臂,直到工具尖端位于入口點上方。
  5. 自動定位:一旦臨床醫生激活了死人開關,機器人就會将持針器對準計劃的目标。
  6. 重新定位(遠端操作模式):如果需要,可以使用操縱杆使用目标樞轉選項來更改入口點。在此過程中,針頭軌迹會連續顯示在3D圖像中。
  7. 插入針頭:臨床醫生以機器人的持針器為指導手動插入針頭。可以使用熒光透視檢查或全3D CT掃描進行确認掃描。
  8. 幹預或治療:一旦針頭擊中目标,就可以擷取組織樣本,或者在消融的情況下進行治療。

機器人控制模式

如工作流 所示,機器人系統有三種不同的控制政策:

  • 互動模式:機器人手臂在笛卡爾空間的所有方向(重力補償控制) 上是自由機動的,好像沒有重量。通過挑選機器人搖桿,按順序按下連接配接到它上的兩個按鈕,激活互動式模式。也可以通過推來改變機器人的肘部位置。
  • 圖像引導模式 :機器人根據導航系統測量 的基于患者 的特定規劃移動。
  • 遠端操作模式:使用者在 TCP(工具中心點)坐标中用操縱搖桿控制機械手臂。可調整進入角度,同時針架不斷指向目标。這是相當有用的,因為使用者可以觀看新的3D圖像,并選擇最友善的一個。

機器人台車

如前所述,針頭插入機器人連同其制造商控制器和該應用程式的專用控制器一起安裝在移動手推車上(圖3)。手推車可以放置在手術台附近,進而可以在不幹擾C形臂軌迹的情況下将機械臂放置在患者附近。為了直覺地做到這一點,機器人具有特殊的控制模式。針頭插入機器人是第三代DLR / KUKA輕型機器人(LWR III)[7],專門設計用于安全的人機互動。由于該機器人具有碳纖維罩和鋁制骨架,是以重量僅為14 Kg。所有傳感器(包括編碼器,保險杠等),電機控制器和電纜都內建在手臂中,這使得該機器人非常适合在市長關注的擁擠環境中進行操作。該機器人有七個旋轉關節;相比6 d.o.f.機器人,其附加關節可在不影響機器人工具姿勢的情況下改變肘部位置。在機器人的每個關節中,扭矩傳感器都測量施加的力。這種設定的市長優勢之一是可以在所謂的重力補償模式下使用機器人。在這種控制模式下,可以通過幾乎沒有阻力的手抓住機器人來移動機器人手臂[27]。一旦使用者停止(在其結構的任何部分上)拉動或推動它,它就會停留在其位置,等待下一次運動。它看起來很像是太空梭内部的一個不存在重力的物體。如果控制模式的某些參數如虛拟重量,摩擦和彈力(可以改變補償模式的行為)是必須改變的,制造商控制器的程式設計接口可以執行此操作。在移動平台的底部安裝了制造商實時控制器(KRC,KUKA機器人控制器)和應用程式控制器。 為了安全起見,将不同的傳感器連接配接到手推車内部架構,這将在控制系統部分中進行說明。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

握把和針刀刀架

帶有兩個把手的搖桿連接配接到機器人的手腕上,便于使用者操作。 使用兩個搖桿的想法是,使用者可以從患者床的兩側拿起它。 每個搖桿都有兩個按鈕,一個在頂部,另一個在内側(圖4(a))。 通過按下按鈕,可以激活重力補償模式。 出于安全原因,隻有在同時按下兩個按鈕(上一個用拇指和下一個用食指)時才能啟用此互動模式。 萬一醫療應用需要其他工具,則在搖桿末端安裝了一個被動式工具更換器(GRIP GmbH Handhabungstechnik,德國多特蒙德)。 從圖4(a)可以看出,從被動式工具更換器開始,機器人可以用消毒的蓋布覆寫,以保護機器人免受患者血液和其他液體的侵害。

  • 圖4. (a) 機器人搖桿與針架一起。DRF 附加到工具,以便導航系統跟蹤;(b) 該工具是可自動回收的。米色共洛爾部件由PEEK組成,以確定無僞影成像。
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

為了使用光學定位器跟蹤針頭,将動态參考架構(DRF)連接配接到針頭支架(圖4(a))。 攜帶針頭的裝置是放在工具正面的米色片。 它完全由PEEK制成,以確定生物相容性。 另外,它的特性使該材料僞像在CT圖像中不存在。 持針器可以執行不同的插入操作,以支援變化的針或工具直徑。

控制系統

如前所述,KUKA / DLR LWR III是串行機器人。 這類機器人具有出色的可重複性,但由于運動學上的微小誤差或随時間增加的校準錯誤,其絕對定位精度并不出色。 當向機器人發出差動指令時,這些誤差的影響較小,這意味着機器人應相對于其上一個位置而不是絕對位置進行移動。 基于此假設,本方法包括定位TCP位置(工具中心點)并以實際位置為原點進行小的移動。(As mentioned before, the KUKA/DLR LWR III is a serial robot. These kinds of robots have excellent repeatability but their absolute positioning accuracy is not outstanding due to small inaccuracies in their kinematics or calibration mistakes that increase over time. These inaccuracies have less impact when differential motions commands are given to the robot, meaning that the robot should move in relation to its last position instead of the absolute position. Based on this assumption, the present approach consists on locating the TCP position (Tool Center Point) and performing small movements taking the actual position as the origin.)這段好要好好了解!

應用控制器

應用程式控制器的主要任務是集中來自所有系統元件的資料,處理該資訊并發送由執行器執行的指令。 應用控制器從實時控制器(機器人姿勢和力的測量),光學定位器(參考系的位置和方向),機器人驅動的血管造影系統(2D投影和3D圖像重建),觸摸屏( 使用者計劃說明)和操縱杆(使用者指令移動)。 作者在以Windows XP為作業系統的裸機中實作了該控制器。 圖5概述了系統元件及其與應用程式控制器的通信協定。

  • 圖5. 控制體系結構。應用控制器從系統的不同元件接收資訊,并用它來控制機械手臂
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

應用程式控制器具有狀态機,該狀态機根據實際狀态和來自系統元件的資料資訊來觸發。 這些轉換的示例如下:使用者在觸摸屏中引入指令,準備使用圖像,激活互動式控件,來自KRC的安全相關資料已到達等。機器人内部安全相關的功能(例如速度) 局限性,力的監控由KCR實時處理。 外部安全相關的緊急按鈕和激活按鈕(來自搖桿)通過DeviceNet連結連接配接到KCR和應用程式控制器。

*機器人傳感器接口

機器人姿态和運動指令的動态資料通過**KUKA機器人傳感器接口(RSI)**周期性地交換[28,29]。 RSI實時接口是機器人制造商提供的用于将傳感器耦合到其控制器的解決方案。資料通信的基本機制收集在RSI中,RSI是子產品化結構并嵌入到KUKA程式設計環境中。它支援基于工業通信标準(現場總線,以太網)的同步和異步資料傳輸。在這項研究中,傳感器(在本例中為光學定位器)與機器人之間的資料交換是使用XML消息完成的。使用預定義的功能子產品(即數字濾波器,轉換,控制算法)在KUKA控制器的實時核心中處理傳感器資料,這些子產品組合在由大約100個不同子產品組成的傳感器功能庫中。可以在一個笛卡爾運動插補(12 ms)的一個周期内執行處理任務,進而使傳感器信号可以在運動過程中影響機器人的位置。

建立了從KCR到應用程式控制器的TCP / IP連結,以便傳輸XML資料。在KRC的每個插補周期中,包含實際機器人位置,關節角度,測得的軸力和電動機電流的XML資料包都将發送到應用程式控制器。基于此資料,應用程式控制器計算XML資料包,其中包括TCP的校正向量。 KRC僅在收到的包裹在同一時隙内到達時才對其進行處理。

*流程圖

系統程式序列如圖6所示。引導後,應用程式控制器初始化DeviceNet協定并打開與KRC的通信通道。 KRC的内部變量直接影響機器人的配置和運動,可以通過應用程式控制器進行外部控制。這樣的變量可以,例如,打開/關閉制動器,觸發外部停止,選擇程式,在激活配置鎖或未校準機器人運動學時發出警報等。然後,對操縱杆和攝像頭進行初始化。為此,為操縱杆建立了USB通道,并為錄影機建立了串行通信。之後,開始機器人初始化。這包括使用打開的DeviceNet通道(在KRC上)選擇程式。然後确認安全鎖,并釋放機器人制動器。然後,機器人移動到程式設計的初始位置。打開TCP / IP通道以便通過RSI交換資料。從應用程式控制器發出指令後,RSI資料交換開始。它由兩個控制回路組成,一個在應用程式控制器中稱為中央控制回路,另一個在KRC中。使用RSI,控制回路每12 ms互相觸發一次。在每個中央控制回路處,應用程式控制器從導航系統,操縱杆和總線端子接收資料。然後,它将處理後的資料發送到KRC,後者又執行指令(調整機器人位置)。 KRC發回包含機器人實際狀況的包裹。重複此資料交換,直到使用者停止程式為止。如果存在延遲,則資料傳輸中斷并且機器人停止。下一節将更詳細地說明控制回路。

機器人控制回路

使用圖7中的控制環連續測量機器人的新位置和方向。有兩種方法可以控制機器人的姿勢,既可以通過光學定位器獲得的資料,也可以通過使用者通過操縱杆給出的運動指令來控制機器人的姿勢。KRC通過RSI傳遞機器人基本坐标中(手腕的)實際機器人姿勢。 狀态機檢查使用者選擇了哪種控制模式。 如果實際模式為“導航模式”,則控制器讀取工具以及患者的解剖位置和方向,并使用此資訊來計算TCP設定點。 給定機器人的姿勢和設定點,控制器将使用将在2.6節中介紹的一些轉換來估計偏移量。 如果激活了“操縱杆模式”,則來自該輸入裝置的測量值将被當作偏移量。 最終,無論哪種情況,PID控制器都會獲得校正值,該校正值将以TCP坐标發送到KRC。

  • 圖6.在初始化過程中,打開使應用程式控制器與系統的主要元件通信所需的所有通道。然後,應用控制器和KRC通過RSI交換資訊,以控制機器人的運動。
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical
  • 圖7. 控制循環,用于操作應用控制器中的機器人姿勢。
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

裝置網連結

DeviceNet連結用于在應用程式控制器和KRC之間共享其他輸入和輸出。此類I / O獨立于RSI通信運作,并用于初始化KUKA控制器,共享其他資訊并用作中斷。按下機器人搖桿按鈕後,此輸入将通過總線端子(德國Verl的BECKHOFF New Automation Technology GmbH的BK5250)轉換為DeviceNet協定,并最終與兩個控制器共享。

DeviceNet是一種通信協定,在自動化行業中用于互連控制裝置以進行資料交換。它使用控制器區域網路作為骨幹技術,并定義了一個應用程式層來覆寫一系列裝置配置檔案。典型的應用包括資訊交換,安全裝置和大型I / O控制網絡。 DeviceNet是自動化行業中一個非常普及的标準,并且由于其實時功能,KUKA Robots廣泛使用DeviceNet來控制其機器人。 KUKA控制器配有DeviceNet卡,可用于與外部PLC(可程式設計邏輯控制器)或計算機共享資訊。

KR C2 lr控制器已經配備了主DeviceNet連結。是以,在應用程式控制器中安裝了DeviceNet從屬卡,以與KR C2 lr之一連接配接。所使用的卡是具有500 Kbit / sec的波特率和512個可程式設計I / O位元組的AnyBus-PCI DeviceNet從站(HMS工業網絡AB,瑞典哈爾姆斯塔德)。 DeviceNet資料在應用程式控制器,KUKA控制器和總線端子之間共享(圖8)。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

DeviceNet安裝在與機器人平台相連的機架中。 在圖9中可以看到一些實體連接配接,包括DeviceNet總線端子,電源和控制機器人系統的電纜。 總線端子使用配置設定在端子中的24伏直流電源。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

導航

選擇了光學定位器(Polaris,NDI,加拿大安大略省滑鐵盧),用于機器人系統的開發和評估。 在最終的臨床設定中,将使用帶有計劃站的商業導航系統。 光學定位器跟蹤動态參考架構(DRF)的位置和方向。 這些架構具有四個後向反射球,光學定位器可使用這些球進行精确檢測(如果有三個或更多球,則可以以其中一個球為中心構造坐标系)。 光學定位器更新速率為20 Hz,定位精度為0.35 mm(rms)。 由于控制環路以83 Hz的頻率運作,是以,具有較高采集速率的光學定位器将是更好的選擇,但不幸的是,它并不在手。 在這項研究中,光學定位器尚未安裝到C型臂上。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

涉及一些坐标轉換,直接複制了。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

系統轉換

為了将針引導到解剖區域,必須将機器人和目标區域關聯起來。 為此,必須找到兩個坐标系之間的變換。 在本方法中,光學定位器用作中間坐标。 光學定位器可同時跟蹤機器人的實際位置和患者的實際位置。 在配準過程中執行利用光學定位器相對于3D圖像測量的患者實際位置。 為了使機器人與光學定位器相關聯,需要進行校準過程。

配準(Registration)

與可能将DRF固定到骨骼的骨科手術相反,在軟組織上進行針頭放置手術。 由于組織變形,無法進行剛性固定。 是以,采用了由Nagel等人介紹的特殊注冊方法[26]。 此方法中使用的裝置形狀可顯着減少由組織變形引起的誤差。 它由一個DRF固定在一個架構上組成,該架構的中央有一個空白空間(用于插入針頭),CT标記以已知的幾何形狀分布。 真空袋用于穩定患者的動作。 從DRF到CT标記坐标系的轉換是事先已知的,并用于擷取轉換T将患者圖像注冊到導航系統。

标定(Calibration)

實際上就是手眼标定。但是其實作方法和我之前見到的不太一樣,在此先不做深究,可作為todo

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical
  1. 機器人旋轉。将小鐵尖插入針架。使用重力補償模式對機器人進行取制,将鐵尖插入固定 divot 中。當光學本地化器指向機器人工具時,使用者将機器人旋轉旋轉約 30 秒。
  2. 自動序列。參考 DRF 連接配接到機器人底座附近(始終在錄影機測量體積内)。在使用者指令後,機器人跟随一系列動作。
【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

Robot Pivot Calibration

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical
【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

pair point method

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

Determination of the Rigid Transformation

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

使用者控制模式

圖形界面 (GUI) 旨在輕松選擇機器人的功能(圖 13)。也可以從文本檔案中讀取與患者相關的目标坐标。它還告訴使用者機器人和患者何時對導航攝像頭 不可見。連續顯示從 TCP 到目标的實際距離。

  • 圖13. 圖形使用者界面。使用者可以選擇所需的控制模式和軌迹坐标。此外,界面顯示機器人和患者相機之間有視覺接觸
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

接下來将說明使用者控制模式:

  • 操縱杆。 在此控制模式下,TCP 可以根據圖 14 在笛卡爾坐标中移動。操縱搖桿向左移動對應于機器人向左移動,例如右、前和後運動。通過按下側操縱搖桿按鈕 ,機器人可以沿針方向(TCP 坐标中的 x 方向)以恒定速度來回移動。機器人在内部計算所有必要的變換。如果使用者想要更改 TCP 方向(但保持位置),隻需按操縱搖桿的上部按鈕即可沿 α 和 β 開始移動(參見圖 14)。
  • 圖14. 工業操縱搖桿用于在笛卡爾坐标中移動 TCP。通過按下操縱搖桿的上部按鈕在 TCP 旋轉是可能
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical
  • **自動方向。**選擇此模式後,機器人會自動将 TCP 定向到目标,如圖 15 所示。仍可能使用操縱搖桿更改 TCP 位置,就像在"僅操縱搖桿模式"中一樣,**但一旦操縱搖桿釋放(實作了新的所需位置),機器人将再次定向目标,但現在從新的角度。此控制模式對于查找新的入口點非常有用。在手術過程中,放射科醫生可以移動到不同的入口點,并決定哪一個可能更充分。**與上述 RCM 方法(其中隻能選擇一個入口點)(否則,必須重複整個笛卡爾定位,這涉及到手動将機器人移動到皮膚上的不同位置,然後再次嘗試旋轉)對放射科醫生更有幫助。
  • 圖15.在自動定向模式下,機器人每次操縱搖桿運動後都會根據目标定向TCP。如果患者移動,機器人将反應并補償患者的移動,并再次指向目标
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical
  • 具有固定距離的自動方向:此控制模式的工作方式類似于自動方向模式,使用者可以決定軌迹距離的唯一差別。使用者可以在 GUI 上輸入所需的距離。
  • 平面中的自動方向:通過選擇此模式,TCP 隻能沿位于患者皮膚上的假想平面移動 TCP。TCP 随時指向目标。

Results and Discussion

對已開發的部件和程式進行了初步精度測試。整體鍊誤差包括成像系統引入的錯誤、規劃、患者注冊和患者組織無法識别的運動。機器人系統及其與導航系統的連接配接提出了其他誤差,即機器人運動誤差、機器人校準誤差、導航系統測量誤差和儀器校準誤差。這些錯誤在三個實驗中進行了評估。前兩個實驗,即運動學和成像系統誤差的評估,可以在 [10] 中看到,表明機器人能夠達到精度與光學定位器類似的定位,0.35 mm (rms)。在這篇文章中,隻有整體誤差被測量在下一個實驗。

Accuracy Tests for Targeting a Needle

這些測量使用專門設計的測試裝置和 Artis zeego 成像系統進行,用于錯誤可視化。測試裝置由九根杆組成,其尖端沿不同位置分布,圖 16。較高的五根杆的高度為 40 mm(從基座到尖端),而較小的四根杆的高度為 25 mm。DRF 連接配接到測試裝置的一側。從 DRF 的坐标系到杆尖的距離是事先知道的。測試裝置的構造精度約為0.01毫米。

  • 圖16. 精度測試裝置。杆相對于所附 DRF 的尖端 位置已提前知道
    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

    在實驗中,帶機器人系統的手推車被放置在CT表的一側。使用重力補償模式,将機器人的工具放置在測試裝置上,測試裝置位于 CT 表上。使用圖形界面,對機器人系統進行程式設計,并設定所選尖端的位置。使用操縱搖桿控制模式,TCP 相應地放置在所選尖端上。在圖形界面中選擇的自動方向指令後,機器人将 TCP 定向到目标。從杆垂直到 TCP 的角度不超過 45 度。實驗是在每個杆(30~60毫米)使用不同的軌迹長度進行的。然後,通過激活機器人的制動器來停止機器人,并插入一根直徑為 2 mm 的 150 mm 針頭,直到尖端達到杆的峰值。使用具有 512 個 512 基矩陣和 0.13 mm 體美的高分辨率核心執行和重建 CT 掃描 ×(20 s,200° 旋轉範圍)。距離誤差定義為在 CT 圖像中從針尖到杆尖的測量距離(圖 17)。

    實驗從五個不同的方向反複接近所有棒,結果共45次測量。生成的根平均方形定位誤差 erms 及其标準偏差σ最小和最大偏差 emin 和 emax。

    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

結論/展望

本研究介紹了一種全傳感器化的手術幹預協同機器人系統。這些類型的系統在很大程度上依賴于來自不同傳感器的資訊。是以,本文的主要焦點在于傳感器技術的采用。機器人系統被調整為将針頭放入解剖區,如肝髒、腎髒和肺。在這些類型的操作中,目标可視化通常需要介入放射學程式。 該系統使用光學本地化器進行機器人控制和患者跟蹤。在目标可視化方面,引入了機器人驅動的 FD-CT,使系統能夠靈活地使用操縱杆和踏闆沿患者表移動。開發中的移動機器人平台可以輕松定位在術中。LWRIII 機器人控制政策允許機器人用手操作。對于精細的動作,機器人可以通過操縱杆操縱,而目标是固定的,幫助臨床醫生選擇不同的入口點。可自動可回收的刀柄可支援不同機器人操作的不同類型的工具。 專為需要實時響應的手術應用開發應用控制器。由于 RSI 以太網,可以進行實時控制。 由于存在不同的系統元件,即機器人臂、機器人驅動的FD-CT和光學定化器,是以需要一個校準過程。對于臨床醫生來說,無需技術援助即可輕松完成此校準過程。校準完成後,從視覺上确認機器人對新程式設計姿勢的反應更快。在穩定狀态下沒有出現有意義的振蕩。當患者參考架構以緩慢運動手動移動時,機器人可以平穩地鏡像移動。然而,對于大動作,機器人的反應速度不夠快,無法反映運動。是以,可以聲稱,建議的設定隻能補償小病人的運動。使用卡爾曼濾波器和使用頻率更快的光學點位器(100 Hz)将改善這種反應。

在機器人系統定位點時,存在整個誤差鍊。最大的誤差包括機器人校準誤差、光學定化器誤差、測試裝置構造誤差和圖像重建誤差。獲得的誤差為 1.2 mm,标準偏差為 ±0.4 mm 似乎是可以接受的,但不足以滿足某些關鍵應用的需求。使用精度更高、體積更小的導航攝像頭(如 MIRO [33})可以提高精度。使用過的元件中,會出現視線問題。這主要是因為同一工作空間中的許多元件存在。在這項研究中,我們通過将導航錄影機連接配接到 C 臂來部分解決此問題,如圖 1 所示。移動 C 臂不會影響錄影機測量,因為它們與 DRF 相關。最後,導航資料還可用于實時三元重建。

問題

  1. CT影像和病人之間的坐标系如何互相轉換?
  2. 病人自身發生移動怎麼辦?
  3. 機器人為實作“絕對精度”差分運動的實作方式。
  4. 整理出手術流程。

Asensus Surgical

asensus surgical inc transenterix surgical, inc.,是一種内窺鏡手術機器人。

【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

他很大的一個特點是沒有使用像達芬奇一樣的平行四邊形結構來保證RCM,

  • 這就導緻他需要不斷地運動setArm去維持RCM;
  • 從端分離的特點也需要他加上定位裝置來來進行“手眼标定”;
  • 工作空間小,無法實作手腕翻轉;
  • 主端的操作手是模拟真實的腔鏡器械,工作空間小,手部是否能防疲勞?

    綜上所述這是一款全面不如達芬奇的機器人,他唯一的可能超越的優勢就是“便宜”。

    【論文解讀】手術機器人系統的工作原理分析與解讀A Fully Sensorized Cooperative Robotic System for Surgical InterventionsAsensus Surgical

下面可以看一下他實際使用的視訊【慎入】Senhance Prostatectomy