作者丨程 茜
編輯丨Panken
中國科學家研發“魔法貼”，讓你跟機器人共享觸覺。
讓機器人做核酸采樣，靠譜嗎？
過去兩年，多家研發團隊研發了能讓醫護人員遠端操縱機械臂完成核酸采樣的系統。不過相比于“直接上手”，這些操作存在一個難點——很難掌握下手的輕重。
▲中國工程院院士鐘南山團隊與中國科學院沈陽自動化研究所聯合發起的新型智能化咽拭子采樣機器人系統
畢竟不是醫護人員自己的手，醫護人員隻能憑豐富的經驗去想象應該把控多大的力度，來操控機器捅受檢人員的鼻子、嗓子眼。
但假如能讓機器人把觸覺同步回報給醫護人員，那問題是不是就迎刃而解了？
1月14日，一項由香港城市大學、大連理工大學、清華大學、中國電子科技大學學者合作的研究成果登上國際學術頂刊Science Advances。論文中的機器人VR系統項目，解決的即是上述難題。
研究團隊開發了一種靈活的電子皮膚貼片，它可以作為無線人機互動系統，應用于機器人VR。隻要貼上這個“魔法貼”，人類就能跟機器共享觸覺。
該貼片既可以小到無感，也可以大成一件上衣，通過震動力度和頻率來回報觸覺。當使用者戴上VR裝置，他就能遠端控制機器人，去完成宛如親臨現場的精細動作。
▲電子皮膚在智能機器人VR中的測核酸應用示範
以前市面上的多數VR沉浸式遊戲，要增加觸覺體驗，往往需要使用者裝上外骨骼控制等笨重、龐大的觸覺感覺硬體裝置。而新型電子皮膚有望使使用者更輕便地在虛拟世界擁有真實的觸覺感受。
機器人VR觸覺回報如何實作？研究解決了怎樣的難點？未來又會有哪些新應用？
近日，智東西獨家專訪這篇Science論文的通訊作者、香港城市大學生物醫學工程博士生導師于欣格，了解這項研究的幕後故事，并對其技術原理及應用前景有了更深入的認知。
本文福利：随着新冠疫情的爆發以及防疫常态化工作的開展，使得機器人防疫工作中大顯身手。推薦精品報告《防疫機器人研究報告》，可在公衆号聊天欄回複關鍵詞【智東西263】擷取。
01.
醫護人員遠端控制
機器人幫你測核酸
機器人VR項目的起步，還要從2020年初席卷全球的新冠肺炎疫情說起。
當時，新冠肺炎疫情确診病例不斷上升、醫護人員醫療資源短缺、核酸采樣效率較低、醫護人員的感染風險很大。這使得于欣格開始思考，能否開發一個遠端非接觸式控制采樣機器人？
核酸采樣機器人的好處很多，包括降低醫療成本、緩解感染風險等，鐘南山團隊、清華大學計算機系教授孫富春團隊、南丹麥大學研究人員等都研發了智能化的核酸采樣機器人系統。
▲2021服貿會上展出的全自動鼻咽拭子采樣機器人（圖檔來源為環球時報）
但這些利用遙控搖桿控制的機器人，對醫護人員的操作準确度有很高要求。
于欣格團隊觀察發現，手術過程中，醫生需通過螢幕判斷手術程序，去想象有多大的回報力度，這往往需要臨床經驗豐富的醫生才能把控。
那麼，能否在醫生和機器人之間共享觸覺，讓機器人能将現場的觸覺回報同步給遠端的醫護人員呢？
将電子皮膚作為無線人機系統應用到機器人VR中的研究項目由此啟動。
研究人員提出了一個設想，隻要“貼上”智能電子皮膚，醫生遠端操控機器人時，就可以通過視覺、聽覺、觸覺全方位感覺，近似于零距離感受手術過程，并且這在一定程度上，會降低手術機器人認證醫生的标準。
▲電子皮膚在智能機器人虛拟現實中的應用示範
不過要将設想變為現實，還需跨過不少難關。
在機器人VR項目進展中，于欣格團隊遇到的最大問題是，機器人和人體的雙向回報環節。這也是項目進展中花費時間最長的環節。
核心難點有兩處：一是電子皮膚捕捉到人體動作後，如何将這個動作的指令精準傳遞給機器人？二是如何将機器人獲得的觸覺精準回報給人類？
除此之外，機器人VR研究過程不僅涉及于欣格團隊擅長的生物醫學工程，還會涉及材料、電路、力學優化、有線回報通路、軟體開發及界面優化等。
是以，他們聯合大連理工大學、清華大學和中國電子科技大學的多位優秀人才通力合作，最終在這樣龐大的應用工程型項目中取得進展。
02.
皮膚還可以變上衣
震動映射觸覺回報
回到研究本身，新型電子皮膚的控制台整體尺寸為57mm x 39mm x 0.8mm。
研究人員在電子皮膚中采用了多層堆疊布局，其中一層膚色彈性矽（聚二甲基矽氧烷，PDMS）可用作皮膚的軟黏合劑，由聚酰亞胺（PI）互連一系列晶片和傳感器，包括電阻器、電容器、藍牙子產品、微控制器單元（MCU）、電橋和研究人員自主開發的軟傳感器、執行器。
▲CL-HMI電子皮膚的組成結構
電子皮膚中的設計均根據完善的力學設計規則成絲狀蛇形結構，進而使整個系統具有可拉伸性。另一層膚色彈性矽（PDMS）用來封裝所有功能元件。
▲電子皮膚中的蛇形結構設計
于欣格說：“電子皮膚的最終形态取決于我們想要實作的功能，它可以是一個近乎無感的小貼片，也可以是一副手套、一件上衣或者一件連體衣。”
延伸到機器人VR，論文寫道，研究人員佩戴四個電子皮膚內建的貼片來控制一個13自由度的人形機器人，這個機器人能夠完成人類的大部分動作。
通過配備相應傳感器，機器人能同步體驗來自前臂、上臂、大腿、大腿側面、腹部的壓力。
實驗過程中，還能根據具體應用，自由選擇彎曲傳感器和觸覺緻動器的數量，同時佩戴VR裝置，同步機器人電子眼擷取的視覺資訊。
如此一來，機器人VR系統就可以作為在無線操作模式下遠端控制機器人的操作平台。
▲手套形狀的電子皮膚操縱遙控車模拟實驗
關于觸覺回報的實作方式，于欣格說：“我們通過不同的震動強度以及頻率來代替觸覺。”震動的範圍可能是從低頻敲擊式的震動到類似于手機震動的狀态。
在研究過程中，研究人員會為使用者建立映射标準，使用者經過訓練和熟悉後能夠逐漸适應震動回報，但目前為止，映射标準會因身體部位、使用者等多種因素而異。于欣格告訴智東西，他們也正在探索實作更真實映射的技術。
03.
通過網際網路傳輸
不到50毫秒就可輕松響應
除了觸覺感覺外，機器人VR系統的無線傳輸功能同樣神奇。
這塊電子皮膚上安裝了7個彎曲傳感器和5個執行器。這些傳感器和執行器可以直接連接配接到電子皮膚中MCU的模拟數字轉換器（ADC）和通用型輸入/輸出（GPI/O）接口，用于多通道傳感和驅動。
電子皮膚中包括讀取資訊的傳感器、用于發送資訊的無線發射器，以及有助于觸覺回報的小型振動磁鐵。
這些傳感器以鋸齒形方式放置的電線組成，當貼片彎曲時，這些電線被拉得更直，彎曲、放直手臂時可以向機器人傳輸有關身體運動的資料。
研究人員稱，這些傳感器可以将人體運動轉換為電信号，由MCU進一步處理并通過無線傳輸到目标機器人。同時，機器人上的壓力傳感器檢測到與外部環境的接觸，通過藍牙子產品控制觸覺執行器的振動強度，為使用者提供觸覺回報。
為了進一步說明電子皮膚實時無線操作的性能，研究人員測量了1-5米距離範圍内的電子皮膚循環響應速度，包括信号傳感、資料傳輸、信号接收、制動響應等環節。
研究結果表明，影響電子皮膚無線傳輸距離的因素有：頂部膚色彈性矽封裝層厚度，人體中複雜的生物組織可能吸收電磁輻射等。
在完善機器人VR的觸覺回報方面，于欣格說：“我們現在可以通過調整電子皮膚的位置和結構解決上述問題，同時也會和更專業的通信領域專家合作，融合相關技術，繼續探索機器人VR在無線通信傳輸領域的潛力。”
▲電子皮膚的無線傳輸距離實驗資料
除了藍牙操作模式外，電子皮膚還支援Wi-Fi和網際網路兩種無線通信模式。
對于Wi-Fi模式，隻要操作區域被同一個Wi-Fi網絡覆寫，無線傳輸範圍就可以擴充到數百米。在網際網路操作模式下，無線傳輸距離可以擴充至網際網路覆寫的任何地方，其響應時間範圍為30.2到47.8毫秒。
04.
打造線下版元宇宙
除了聽、看還能摸
除了醫療領域，觸覺回報也可以應用到社交、娛樂、假肢傳感等方面，進一步提升使用者體驗。
如果将VR裝置、觸覺回報和現有的線上視訊軟體相結合，從聽覺、視覺延伸到觸覺，隔着螢幕，使用者就能感受到與遠方親友握手、擁抱的實感。
去年爆火的“元宇宙”概念中，人們需在虛拟世界建立一個自己的虛拟化身。而要讓這個虛拟化身與人類感同身受，必然離不開觸覺技術的進化。
早從2018年，于欣格就長期專注于觸覺回報研究，探索VR、機器人與電子皮膚的結合。此前，其團隊研發的皮膚VR進展曾于2019年底發表在國際學術頂刊Nature上。皮膚VR系統就搭載了近場通信技術（NFC），遠在千裡之外的人通過撫摸和滑動螢幕，就能無線控制皮膚VR的觸覺驅動。
在他看來：“機器人VR可以了解為線下版的元宇宙。”
在現實世界中，很多危險系數高、環境極端的任務需要機器人輔助，這就需要觸覺回報和傳感一體的閉環人機互動系統。
于欣格談道，在虛拟世界中控制機器人，使用者隻需要将指令發送給軟體，而在現實世界，多了指令和硬體的互動環節，控制機器人的難度更高。
機器人VR系統主要針對于人機互動。于欣格也補充說，從機器人精準感覺角度來講，他們的研究團隊已經有了相關成果，現在電子皮膚中的震動單元大小成功縮小到将近之前的1/4，機關面積上單元內建度也大幅提升。
在娛樂應用方面，于欣格為我們舉了一個例子，《鐵甲鋼拳》電影中機器人争鬥替代了暴力、血腥的搏擊運動。在未來，利用機器人VR和皮膚VR控制機器人決鬥，也是該領域的潛在應用場景。
▲《鐵甲鋼拳》中人和機器人同步動作片段
機器人VR還可以用在健康領域的假肢傳感。
失去上肢或下肢的特殊人群安裝假肢後，往往無法僅通過觀察來掌握力度大小，而将電子皮膚安裝在他們的截肢末端有望改善這個問題。
于欣格解釋說，電子皮膚在控制假肢運動的同時，還可以将物體的硬度、重量等資訊回報到截肢末端的電子皮膚上，使使用者能感受到真實的力度、硬度回報，進而控制力度的大小。
據于欣格透露，他們也正在籌備初創公司，探索機器人VR的落地，目前更偏向醫療應用領域等to B的工業合作夥伴。
05.
結語：人機互動新方式
或成機器人應用新風口
閉環人機接口的出現為人體和機器人之間提供了更新的互動方式，使得遠端操控機器人的應用場景進一步增加，除此之外，雙向回報也為機器人執行更為複雜的任務提供了可能。遠端操控高自由度機器人在遠距離操作、假肢控制和醫療應用方面的例子代表了其在不同領域的廣泛潛在應用。
開發兼具精确觸覺傳感和回報功能的遠端操控技術非常重要，于欣格說，他們仍然在探索電子皮膚形态的多樣性、觸覺回報的精準度、無線傳輸的效率……
未來，元宇宙可能是機器人VR系統應用的一個重要領域。但于欣格認為，該項目的研究遠遠不止于此，皮膚作為人體最大的觸覺感官，還有更多的發展潛力，不過這個領域的基本探索時間還很短，基礎研究在現階段仍必不可少。
對于聽覺、視覺的感覺，我們在日常生活中已經司空見慣，如果觸覺感覺能進一步普及，是否會使得虛拟世界的真實性越來越高？我們也很期待未來不僅能遠端聽到、看到，還能真實地感覺到虛拟空間。