天天看點

交大教授盛斌:元宇宙熱潮下,應更關注研究應用轉化模式突破

交大教授盛斌:元宇宙熱潮下,應更關注研究應用轉化模式突破

圖:錢學森在信中将VR翻譯成“靈境”

“現在國内外各界熱烈讨論虛拟現實及元宇宙等概念是好事,也是推動相關學科進步的催化劑,但作為科學研究來說,我認為最重要的可能不在于某個技術或算法的本身本身的進步,而是相關技術對傳統科學研究思維範式的突破,對于既往人類生活、運動、及健康管理方式的改變。”上海交通大學計算機科學與工程系教授盛斌接受澎湃新聞(www.thepapewr.cn)專訪時表示。

盛斌為國家“萬人計劃”青年拔尖人才獲得者、教育部人工智能重點實驗室及上海人工智能研究院智慧醫療技術負責人,在人工智能及虛拟現實(Virtual Reality,VR)領域均有所研究。盛斌課題組基于上海交通大學附屬第六人民醫院賈偉平院士領銜建構的全球最大規模社群糖尿病眼底影像資料庫,建構了糖尿病視網膜病變全病程智能診斷系統——DeepDR系統,實作對糖尿病視網膜病變從輕度到增殖期病變的全病程自動診斷,并能對眼底圖像的品質進行實時回報以及眼底病變的識别分割。論文被《Nature》子刊《Nature Communications》遴選為亮點論文(Editors’Highlights),被認為是近來國際學術界“在轉化及臨床研究領域中取得的最重要技術創新和研究成果之一”。

交大教授盛斌:元宇宙熱潮下,應更關注研究應用轉化模式突破

https://www.nature.com/articles/s41467-021-23458-5

在虛拟現實領域,從2019年盛斌團隊深度參與由上海體育學院牽頭的科技部“科技冬奧”攻關項目中,為中國備戰2022北京冬奧會的運動員建構基于虛拟現實的雪車仿真訓練平台。由于雪車滑道造價高昂,技術要求極高,目前全世界極少數國家分布着17條雪車滑道,相關場地資源的極度需求極大困擾中國運動員備戰比賽。例如由于沒有合适的賽道支援,2017年的首屆中國雪車錦标賽都是在加拿大卡爾加裡舉行的。

“在上海體育學院王然教授和高炳宏教授的大力支援和幫助下,我們曾多次征求中國國家隊領隊、教練和運動員的意見與回報,其目的就是希望直面困擾中國冰雪運動大規模普及在技術上的卡脖子挑戰,進而在根本上通過科技力量推動中國冰雪運動水準提升。在科技冬奧項目支援下,我們通過真實感圖形模組化與渲染,冰雪滑行中的實體仿真、以及高沉浸式的虛拟現實互動,将虛拟環境下的雪車運動訓練轉變為具有高水準競技體驗效果的虛拟仿真輔助教學與訓練系統,而不是遊戲。”盛斌表示。

“冰雪運動不應該僅僅屬于谷愛淩”,盛斌笑着說,“虛拟現實技術可以讓更多中國青少年體驗到冰雪運動帶來的快樂。”2019年起盛斌帶隊研發的冰雪運動虛拟仿真系統及其教學應用被上海市教委遴選為上海市虛拟仿真教學項目及上海交通大學校級一流課程。

2022年1月,在北京冬奧會召開前夕,由上海體育學院王繼紅副校長牽頭,上海交通大學、寶山區教育局及上海人工智能研究院等産學研用機關聯合,在教育部支援下組建“智能體育教育部應用實踐共同體”,其中的一項任務就是依托盛斌團隊研制的冰雪運動虛拟仿真系統,将其推廣到上海市寶山區各個中國小的體育教學和科技體驗中,幫助更多上海青少年了解并熱愛冰雪運動。盛斌說道,“相當于在他内心裡留下一點點火苗。”

“我們國家曾長期在冬奧會上的競技表現不突出,究其原因,首先固然是沒有足夠的冰雪地理資源,其二是我們對青少年的冰雪運動的知識普及工作存在短闆。”盛斌表示。不僅在中國如此,事實上除了舉辦過冬季奧運會的國家之外幾乎沒有多少國家會建設這種高投入低産出的專業滑道——大型滑雪場還可以在比賽之後轉成民用休閑設施,純粹專業化的賽道實在難有除訓練比賽之外的後續利用的價值。而且雪車運動速度一般可達130公裡每小時,世界紀錄已經突破200公裡每小時,有“雪上F1”之稱,出于安全考慮也對參與者有很高專業性要求。

對此,盛斌認為,“不管是鋼架雪車、滑雪,還是速滑,這些運動員之是以成功背後固然有其身體條件及興趣愛好等因素。但中國人口衆多,擁有豐富的身體素質适合冰雪運動的運動人才資源,但受到地理氣候原因限制,并非所有這些人都能很容易在啟蒙階段就能實地接觸到冰雪運動,大量的冰雪天才也許就此埋沒,那麼,上海交通大學和上海體育學院聯合研制的虛拟現實環境中冰雪運動仿真系統,也許能最大程度地幫助中國冰雪運動未來的人才儲備,幫助他們邁出冰雪人生的第一步。”

盛斌同時也結合當下炙熱的“元宇宙”概念,進一步闡釋了冰雪運動虛拟仿真系統背後的技術背景,“我們的冰雪運動虛拟仿真系統可以看成是關于冰雪運動教學的元宇宙應用,而元宇宙可以看成是虛拟現實環境裡人類網絡化生活的表達形式。虛拟現實中所謂虛拟,就是指采用以計算機技術為核心,結合相關科學領域,生成虛拟的數字化環境,提供人們視覺、聽覺、觸覺、空間資訊以及其他感覺;而所謂現實,就是指這樣的數字化虛拟環境及其提供給人們的各類感覺資訊,能讓人沉浸其中,産生真實感。”

VR初成熟:眩暈還未完全解決

5G乃至後5G時代,支援VR大規模發展的基礎硬體如晶片、傳感器、光學元件、顯示屏等皆已具備成熟發展條件。使用VR等裝置作為接口的元宇宙概念股公司Roblox在2021年3月上市後市值就達500億美元,後位元組跳動收購國内第一家VR廠商Pico又一次引起廣泛關注。此外,歌爾集團從2012年開始布局VR/AR産業,目前占據全球中高端虛拟現實頭顯70%的市場佔有率,并率先引進世界領先的12英寸納米壓印生産線,打造全球領先的VR/AR高端光學零元件産業基地。

據IDC在2021年11月釋出的報告預測,VR頭戴裝置的出貨量将從2020年的約500萬台增加到2025年的超過2800萬台。Meta(原Facebook)CEO紮克伯格曾表示,在一個平台上需要有約1000萬人使用和購買VR内容才能使開發人員持續研發以及獲利;而一旦超過這個門檻,内容和生态系統将會實作跨越式發展。

在虛拟現實的國内學術生态建設上,由中國學術界自主創辦的虛拟現實領域國際期刊Virtual Reality & Intelligent Hardware(VRIH)創刊不到三年,即于今年1月底被世界上最廣泛,最完整的工程文獻資料庫EI Compendex收錄,并即将于今年10月與虛拟現實及圖形學領域裡曆史最悠久的知名國際學術會議Computer Graphics International(CGI2022)聯袂組織”元宇宙”專輯,作為VRIH期刊編委,盛斌認為,上述事件均側面證明了中國虛拟現實學術及産業成果在國際具有日益重要的影響力。

在設計冰雪運動虛拟仿真系統過程中,盛斌體會其中最微妙的地方在于跨越固有知識領域限制,針對一項完全沒有過任何前期經驗的運動開展真實感模組化與仿真,并緻力于用虛拟現實與人工智能技術将别人對這個活動的真實體驗和感受最大程度地還原與再現出來。“這其實就是元宇宙的魅力之一,要真正做好這件事,除了對于模組化、渲染或互動技術一個個難題的攻關之外,很重要的地方也在于把其他學科,如運動生理學、一些裝置器材在冰上運動規律等,融會在系統開發過程中。”

賽迪研究院釋出的《虛拟現實産業發展白皮書2021》顯示,目前虛拟現實産業眩暈、互動等關鍵核心技術上尚未突破,VR、AR、MR等終端裝置的佩戴舒适度和視覺舒适度與舒适體驗還有差距。

對于眩暈感,盛斌解釋道,“本質上來說,暈眩實際上來自大腦處理‘不夠真實的資訊’時帶來的不适感。如視覺感覺上帶來的不真實感,畫面閃爍、分辨率很低,或光影效果不太正常,都會帶來不适。現在有很多處理眩暈的技術,但目前這個問題我覺得并沒有被完全攻克。這也是為什麼現在很多說元宇宙,但實際體驗上還是會卡在裝置。”

“終極顯示”:未來人類數字化社會的虛拟現實視窗-元宇宙

早在1965年,計算機圖形學之父伊萬·薩瑟蘭曾發表一篇題為《終極顯示》(The Ultimate Display)的短文,提出顯示技術的終極目标就是使人直接沉浸在計算機控制的虛拟環境之中,就如同日常生活在真實世界一樣。“當時對這種顯示技術終極狀态的預期還是Windows系統的視窗,人可以走進Windows裡,就像愛麗絲夢遊仙境一樣然可以運動,可以聽可以看可以摸可以聞。”盛斌說道。

這樣的“終極顯示”思想延續到了今天就有了“下一代通用計算平台”的說法。2016年高盛釋出報告《VR與AR:解讀下一個通用計算平台》(AR增強現實,Augmented Reality)。2022年2月,國泰君安釋出報告《MR:通向元宇宙的下一代通用計算平台》(MR混合現實,Mixed Reality)。

盛斌透露,他目前正在與上海交通大學講席教授賈偉平院士團隊密切合作攻關,與來自體育科學、臨床醫學、心理學及腦科學的多學科專家團隊協同開展科研攻關,研制面向未來生活中人民健康智能精細化管理的“靈境”系統,希望通過人工智能和虛拟現實去回答目前困擾科學界多年的難題:真實世界體育鍛煉與虛拟世界(元宇宙)VR運動各自對于人類身心健康有何影響。

盛斌認為這些努力的背後蘊含着他所堅持的科研信念,“如果我們最後跟機器的溝通通過AR、VR或MR這樣的方式,那麼通過綜合運用多學科交叉知識,基于大資料和高性能通用計算平台,虛拟仿真與人工智能完全可實作對真實世界與人體狀态變化規律的模拟與預測。”

交大教授盛斌:元宇宙熱潮下,應更關注研究應用轉化模式突破

圖:錢學森在書信中表達關于VR的未來期待

繼續閱讀