（映維網Nweon 2022年12月15日）如今的AR/VR可穿戴電子裝置一般會配備一個或多個圖像捕捉元件，并用于捕捉使用者環境的圖像和視訊。但有時候可，由AR/VR可穿戴電子裝置捕獲的圖像和視訊資料可能不一定對應于預期的使用者視場。
是以在名為“System for determining an expected field of view”的專利申請中，Meta就提出了一種相關的解決方案：确定所需視場的定向定向和/或位置資料，然後将捕獲的視場裁剪至對應的預期使用者視場。
在一個示例中，圖像捕獲元件可以捕獲比所需更寬或更大的視場，這時系統可以通過測量元件确定相關的定向和/或位置資料108，并由裁剪元件裁剪至或調整至對應的使用者視場。
圖1是示例性圖像捕獲系統100的框圖。圖像捕獲系統100可以包括一個或多個圖像捕獲元件102，以生成表示實體環境的圖像資料104。
圖像捕獲系統100同時包括一個或多個測量元件106，以生成與包括圖像捕獲系統的電子裝置相關聯的定向和/或位置資料108。測量元件106可以與特定的圖像捕獲元件對齊或定位在其附近，以便相對于圖像捕獲元件定位方位和/或位置資料。
圖像捕獲系統同時包括裁剪元件110，裁剪元件可以分别從圖像捕捉裝置102和測量單元106接收圖像資料104，以及方位和/或位置資料108。裁剪元件110可以配置為解析或以其他方式分析圖像資料（例如相對于目前幀的前一幀），并識别圖像資料104内的目标對象或區域。
裁剪元件110然後可以調整與圖像資料104相關聯的視場或視場區域的位置，以包括或以其他方式圍繞目标對象或區域居中或與之對齊。在一個實施例中，裁剪元件110可以利用一個或多個機器學習模型或網絡來識别圖像資料104的前一幀内的目标對象或區域。在這種情況下，裁剪元件110然後可以識别目前幀内的目标對象和區域，并相應地裁剪圖像資料104。
在一個實施例中，圖像捕獲裝置可以包括擴充的垂直視場，并且電子裝置可以至少部分地基于可穿戴電子裝置IMU接收的定向和移動資料，調整圖像資料的垂直裁剪。例如，如果IMU資料訓示使用者的頭部向下傾斜，則電子裝置可以基于比IMU資料所示視場低的視場來裁剪圖像資料。
在一個實施例中，預定垂直距離可以基于IMU資料訓示使用者向上或向下傾斜頭部的程度而變化。例如，頭部的向上或向下傾斜越大，預定垂直距離從IMU資料訓示的位置變化得越大。在一個示例中，可以使用一個或多個機器學習模型或網絡來訓練或學習預定垂直距離的值。在其他示例中，可以使用可穿戴電子裝置上的注視檢測系統來确定使用者的眼睛的視場，并且可以使用檢測到的眼睛的視場，或注視以及IMU資料來确定眼睛傾斜的附加調整。
一旦裁剪元件110輸出了裁剪的圖像資料114，則電子裝置的其他元件116可以利用裁剪的圖像圖像資料114。裁剪的圖像資料114同時可以經由一個或多個網絡122發送到由基于雲的服務118和/或伴随應用120。在所述示例中，通過由裁剪元件110在電子裝置端執行裁剪，可以減少帶寬和網絡資源消耗。
例如，圖像捕獲元件102可以捕獲比所需更寬或更大的視場，并且傳統系統會将更大的原始圖像資料傳輸或流式傳輸到遠端系統以進行處理。但通過網絡122傳輸或流傳輸之前将圖像資料104裁剪或以其他方式減少到期望的大小和内容，可以顯著減少網絡資源消耗和與之相關的成本。
圖2是圖像捕獲系統200的另一示例框圖。可穿戴電子裝置可以配備有立體圖像捕獲系統200，所述立體圖像捕獲裝置200包括至少第一圖像捕獲元件202和第二圖像捕獲元件204。
第一圖像捕獲元件202和第二圖像捕獲元件204可能會在使用期間垂直和/或水準地錯位。例如，使用者可以具有兩個高度略有不同的耳朵，并導緻可穿戴電子裝置相對于彼此和與可穿戴電子裝置的架構相關聯的一個或多個軸形成微小角度。
在目前示例中，第一圖像捕獲元件202可以生成與系統200周圍的實體環境相關聯的第一圖像資料206，第二圖像捕獲元件204可以生成與實體環境相關的第二圖像資料208。如上所述，系統200可以包括裁剪元件210，其接收第一圖像資料206和第二圖像資料208。
裁剪元件210可以配置為解析或以其他方式分析第一圖像資料206和第二圖像資料208。然後，裁剪元件210可以調整與第一圖像資料206和第二圖像資料208相關聯的視場位置，以包括或以其他方式圍繞目标對象或區域彼此居中或對齊。再次，裁剪元件210可以利用一個或多個機器學習模型或網絡來識别目标對象或區域，或者以其他方式對齊第一圖像資料206和第二圖像資料208。
在所述示例中，使用者可以執行初始化或設定過程，使得圖像捕獲系統200可以确定一個或多個偏轉資料和/或注視資料。例如，與由可穿戴電子裝置和/或相關的便攜式電子裝置托管的系統200相關聯的應用218可以使得使用者或佩戴者執行設定或初始化。例如，可以訓示使用者站在鏡子前面，頭部以各種角度定位。
第一圖像捕獲元件202和第二圖像捕獲元件204可以在初始化過程期間生成初始化圖像資料，例如第一圖像資料206和第二資料208。裁剪元件210和/或另一系統可以确定與使用者的個人角色和面部特征相關聯的偏轉資料和/或注視資料212。然後可以存儲偏轉資料和/或注視資料212，使得裁剪元件210可以使用偏轉資料和（或）注視資料212裁剪第一圖像資料206和第二圖像資料208，并生成表示使用者視場的輸出圖像資料。
然後，輸出圖像資料可以在系統200上使用，例如經由無線網絡接口發送、傳輸或以其他方式流式傳輸到其他裝置以供進一步處理。
圖10是根據一個或多個示例的與圖像捕獲系統相關聯的圖像資料1000的示例裁剪圖示。系統可以配備有圖像捕獲元件，其具有比系統輸出的圖像資料更大的視場和/或分辨率。由圖像捕獲元件捕獲的原始圖像資料通常示為1002。
在一個實施例中，系統可以基于檢測到的目标1004裁剪或框定圖像資料1000。系統可以通過裁剪圖像資料1000來生成輸出圖像資料，如1006所示。以這種方式，目标1004位于輸出圖像資料的中心。如上所述，系統同時可以基于方位和位置資料來調整圖像資料1000的裁剪或成幀。在所示示例中，使用者可以稍微向下看。是以，系統可以向下調整垂直裁剪或架構的位置，如1008所示，以與使用者的可能視場對齊。
圖11是示出根據一個或多個示例的基于頭部位置的示例性視場調整示意圖1100。在目前示例中，使用者的頭部1102顯示在不同的位置1104–1108。例如，第一位置1104基本上直立，第二位置1106鼻子向下傾斜，第三位置1108鼻子向上傾斜。在第一位置1104中，使用者的視場1110與圖像捕獲系統的視場1112基本對齊。
然而，在第二位置1106中，使用者的視場1114低于圖像捕獲系統的視場1112，因為當使用者向下傾斜頭部時，使用者可以進一步向下調整眼睛。類似地，在第三位置1108中，使用者的視場1116高于圖像捕獲系統的視場1112，因為即使當使用者向上仰起頭，使用者都可以繼續向上調整他們的眼睛。
在其他示例中，使用者的注視方向和視場可以基本上與使用者的頭距相同、高于或低于使用者的頭間距。
如上所述，系統可以初始化或訓練為基于使用者的個人特征來調整圖像捕獲系統的視場，或者系統可以基于所示位置1104–1108以及其他位置的平均使用者來對視場進行調整。例如，進行不同程度的向前或向後傾斜，并結合俯仰的額外旋轉等。
以這種方式，由可穿戴電子裝置捕獲的圖像和視訊資料可以對應于預期的使用者視場。
相關專利：Meta Patent | System for determining an expected field of view
名為“System for determining an expected field of view”的Meta專利申請最初在2021年6月送出，并在日前由美國專利商标局公布。