虛拟現實/增強現實中的三維草圖繪制

3D Sketching in VR/AR

• 前言
• 一、目前存在的問題
• 二、相關文獻
• • 1. Experimental Evaluation of Sketching on Surfaces in VR
  • 2. SymbiosisSketch: Combining 2D & 3D Sketching for Designing Detailed 3D Objects in Situ
  • 3. Multiplanes: Assisted Freehand VR Sketching
  • 4. Smart3DGuides: Making Unconstrained Immersive 3D Drawing More Accurate
  • 5. VRSketchIn: Exploring the Design Space of Pen and Tablet Interaction for 3D Sketching in Virtual Reality
• 三、定量分析
• • 1. Stroke quality
  • 2. Stroke aesthetic quality
• 四、定性分析
• 總結

前言

沉浸式三維虛拟現實（VR）環境下的草圖技術在各種互動式三維設計應用中具有巨大的潛力。然而，在空中精确繪制預定筆劃可能是一個挑戰。草圖（freehand sketching）由于其自由形式和表現力的特點，是許多視覺設計管道中使用的一項基本任務。

商業工具：Quill, FreeDrawer, Tilt Brush, Gravity Sketch.

一、目前存在的問題

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

• 實體表面： 一種可能的方法是用非支配手握住一個剪貼闆或其他堅硬的表面。另一種方法是由機械臂驅動的動态可配置拉深表面。或用于輔助三維草圖繪制的主動觸覺裝置。
• 視覺向導：“Guides” feature in Tilt Brush，網格和腳手架曲線；新的筆劃處理方法來解釋曲線公平性的不足。
• 深度感覺：霧渲染模糊遠處的物體，3d網格，半透明渲染的自動表面處理
• 方向位置導航：導航工具使他們能夠捕捉或投影繪圖平面到具有更高“草圖能力”的位置和方向
• 繪畫尺寸：可管理的小範圍内畫畫，以提高準确性和舒适性，同時允許使用者快速切換到全尺寸視圖
• 曲面筆畫：不知道曲面曲率和扭曲如何影響筆劃性能。二維顯示的工作使用了平面上表面的正交投影，或圍繞表面的三維空間的水準集表示。

二、相關文獻

1. Experimental Evaluation of Sketching on Surfaces in VR

CHI2017. Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice.

2. SymbiosisSketch: Combining 2D & 3D Sketching for Designing Detailed 3D Objects in Situ

CHI2018. Rahul Arora, Rubaiat Habib Kazi, Tovi Grossman, George Fitzmaurice, Karan Singh

• 在空中繪制一些曲線，并自動計算出最佳拟合曲面,綁定筆劃将映射到所選畫布,三維平移、旋轉和縮放小部件進行轉換.
• 利用平闆電腦的全部分辨率。目前的VR顯示技術無法提供接近專 業繪圖闆的分辨率
• 縮放工具通過“放大和縮小”真實世界的比例
• 填充工具建立實體表面，通過遮擋、照明和陰影來改善觀察 者的深度感覺。 自動檢測實體世界中的平面

3. Multiplanes: Assisted Freehand VR Sketching

CHI2018. Mayra D. Barrera Machuca1, Paul Asente, Wolfgang Stuerzlinger, Jingwan Lu, Byungmoon Kim

• 美化觸發點（BTP）自動平面生成 (Automatic Plane Generation)對于筆劃和目前控制器姿勢，多平面會自動識别适當的繪圖平面。
• 在此基礎上，再根據先前的幾何點繪制點，并以此為基礎顯示系統中的BTP。
• 當使用者繪制它或當使用者點選一個BTP，多平面還自動實時美化一個筆劃。

4. Smart3DGuides: Making Unconstrained Immersive 3D Drawing More Accurate

CHI2019. Mayra D. Barrera Machuca, Wolfgang Stuerzlinger, Paul Asente

• 用于三維草圖繪制的無限制視覺指南，可幫助使用者避免錯誤
• （a）SG十字準線以控制器的位置和方向為參考坐标。
• （b） SG lines使用一個獨立于内容和控制器的固定全局參考幀。
• （c）SG柱面使用現 有内容作為參考架構

5. VRSketchIn: Exploring the Design Space of Pen and Tablet Interaction for 3D Sketching in Virtual Reality

CHI2020. Tobias Drey, Jan Gugenheimer, Julian Karlbauer, Maximilian Milo, Enrico Rukzio

• 包括 方向位置導航、繪畫尺寸、視覺向導、實體表面等

三、定量分析

1. Stroke quality

• a) line straightness, b) matching of line pairs, c) degree of deviation, and d) corrective movements.

Eva Wiese, Johann Habakuk Israel, A. Meyer, and S. Bongartz. 2010.Investigating the learnability of immersive free-hand sketching.Proceedings of the Seventh Sketch-Based Interfaces and Modeling Symposium (SBIM’10), October 2017: 135–142

• mean average deviation & mean project deviation

Rahul Arora, Rubaiat Habib Kazi, Fraser Anderson, Tovi Grossman, Karan Singh, and George Fitzmaurice. Experimental Evaluation of Sketching on Surfaces in VR. CHI2017.

• 繪畫時間 & 繪畫筆數

2. Stroke aesthetic quality

• mean fairness deviation

  

四、定性分析

• Likert量表
• System Usability Scale (SUS) [Brooke 1996]系統可用性量表
• Perceived Usefulness and Ease of Use (PUEU) [Davis 1989] 感覺有用性和易用性
• Think aloud

總結

缺乏實體繪圖平面、表面位置、形狀和方向、筆劃大小和視覺引導是影響VR繪圖能力的重要因素