天天看點

3D高斯與光場技術研究與應用研讨會成功舉辦

近日,由中國圖象圖形學學會主辦,中國圖象圖形學學會智能圖形專委會、淩雲光技術股份有限公司、北京元客方舟科技有限公司承辦,北京市光場共性技術平台支撐的“3D 高斯與光場技術研究與應用”研讨會在北京首鋼園成功舉辦。

3D高斯與光場技術研究與應用研讨會成功舉辦

中國圖象圖形學學會智能圖形專委會主任劉永進,北京市科委、中關村管委會科技項目經理人餘飛,淩雲光進階副總裁楊藝分别發表了緻辭。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

作為本次大會承辦方之一、光場共性技術平台營運機關,淩雲光楊藝女士在會上發起成立“光場共性技術平台青年專家組”的倡議,将持續聚焦3D高斯與光場技術理論研究與應用,聯合各大科研機構共同開展技術攻關及課題研究,促進學術研究與産業實踐深度融合,建構完整的技術創新與應用生态系統。

3D高斯與光場技術作為圖形學的重要分支,對提升視覺感覺、增強現實、虛拟現實、醫學影像等多個領域具有重大意義。本次研讨會邀請了中國圖象圖形學學會、清華大學、中國科學院、北京理工大學、中國科學院等機關相關專家、學者,共同圍繞3D高斯(3D Gaussian Splatting, 3DGS)技術機理、潛力、優化、應用方向及重大成果進行了詳細介紹。

專題一

3D高斯基礎理論與研究綜述

清華大學資訊國家研究中心副研究員于濤以《神經渲染:NeRF與3DGS》為主題,分享了NeRF和3DGS各自獨特的應用領域和優勢。NeRF在建立逼真的視覺效果和處理複雜場景方面表現出色,而3DGS在實時性、靈活性、直覺性等方面更具優勢。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

中國科學院計算技術研究所研究員、博士生導師高林以《高斯潑濺與神經輻射場研究進展》為主題,分享了高斯潑濺和神經輻射場等新型的幾何表征,并探讨這幾種幾何表征各自的優劣,介紹了可以進行實時大尺度真實感變形模組化的高斯網新型表征方法,複雜透明材質和拓撲結構的重建,基于高斯潑濺的材質編輯方法以及基于線稿互動的幾何模型生成方法。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

專題二

3D高斯深度研究與演化

清華大學長聘教授劉永進分享了《基于3DGS的弱光環境下實時新視角渲染》主題報告。在弱光環境中拍攝的圖像會表現出相當大的亮度變化和多視圖不一緻性,可以通過采用一組各向異性的3D高斯函數來表示實體世界的一緻輻射場,設計一個相機響應子產品來補償多視圖的不一緻性,再逐漸衰減的梯度縮放政策來限制相機附近的高斯以減少僞影。這種使用一緻的多視圖圖像作為輸入,采用Gaussian-DK進行高品質的渲染,可以消除重影和漂浮物僞影,進而完成新視圖合成任務。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

清華大學長聘教授劉烨斌以《動态場景3D高斯重建與生成》為主題,分享了其在數字化身生成方面的一系列工作。他首先介紹了基于NeRF的相關工作,引入具有更高渲染品質和更快渲染速度的3D高斯點雲渲染新方法。圍繞Gaussian Splating在3D場景表達和渲染的優勢,劉烨斌教授重點闡述了其近期在動态場景實時重建與視點繪制、基于圖像大模型的3D人像視訊生成技術、全息數字人重建與生成技術的研究工作。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

南京大學準聘副教授、博士生導師姚遙分享了《高真實感點雲可渲染算法與架構》主題報告。他表示,傳統的三維重建方法通常包括攝影測量、相機姿态重建、點雲生成和網格建構,而随着神經輻射場技術的出現,多視角圖像可以直接用于優化并生成高品質的三維模型,進而大大簡化了整個流程。盡管神經輻射場技術發展迅猛,傳統方法在幾何精度上依然具備顯著優勢。

3D高斯與光場技術研究與應用研讨會成功舉辦
3D高斯與光場技術研究與應用研讨會成功舉辦

專題三

光場資料與3D高斯結合及應用

元客光場PDT經理劉博文分享了《光場産品線與3DGS的過去、現在、未來》主題報告。過去,公司與清華大學、南京大學等知名高校合作,成功研制了多套多視角立體視覺系統(MVS),為光場技術的發展奠定了基礎。現在,依托北京市光場共性技術平台,研發多套光度立體視覺系統(Photometric Stereo),在資料解算次元、精度等方面具有明顯優勢,以大型7D光場采集系統為例,該系統在球面LED密度和照度名額方面均達到了世界領先水準。未來,公司計劃将光場資料與3DGS技術深度結合,推動數字人、場景重建與渲染等領域的商業應用,形成可落地的解決方案。

3D高斯與光場技術研究與應用研讨會成功舉辦

大型7D光場采集系統

圓桌讨論

圓桌論壇環節由元客副總經理兼研發中心總監杜華主持,邀請清華大學教授劉烨斌、南京大學教授曹汛、北京理工大學光電學院研究員翁冬冬、中國科學院計算技術研究所研究員高林、清華大學資訊國家研究中心副研究員于濤、南京大學準聘副教授姚遙,圍繞“3D高斯研究與應用方向”展開探讨,并形成以下觀點:

資料作為AI的三駕馬車之一,其中3D的資料以及更多元的光場資料,在資料量、開放性上都是遠遠不夠的,需學界、産業界攜手共創。

品質、速度、編輯性的優化,是3DGS持續研究的方向,而如何從多視點圖像中解耦幾何、紋理、光照是重點難題。

3DGS渲染結果“給人看的效果很好”,可是其幾何測量精度并不比傳統MVS方法更高,是以傳統方法還會一直存在,但如果将3DGS的優勢應用到傳統MVS方法上,也許能擦除新的火花。

3DGS的渲染性能、對人物頭發的表達相比傳統方法更具優勢,且并不需要傳統CG管線做出太大修改即可接入,可以預計将大幅推進3D數字人、空間視訊應用落地。

對于C端3D顯示生态,目前面臨的1個大的挑戰和不确定性是立體視訊至今都未大規模的普及,對于AR/VR等需要6Dof顯示的裝置普及還有多遠?

誰先找到應用落地至關重要,如果說3DGS是圖形學領域是一把屠龍刀,那應用就是磨刀石,如果沒有應用打磨,那3DGS就不可能成為産業“利器”。

3D高斯與光場技術研究與應用研讨會成功舉辦

清華大學資訊國家研究中心助理研究員王玉旺,北京交通大學博士、高聘副教授溫玉輝,浙江工商大學副研究員左智文,浙江工商大學講師阮正森,元客總經理熊偉等出席了本次會議。

繼續閱讀