天天看點

基于毫米波雷達的手勢識别原理

作者:ICVS自動駕駛商業化

1 Introduction/簡介

本文以TI的Gesture UserGuide為參考,簡述基于毫米波雷達的手勢識别原理,手勢識别目前在汽車、家電等方面有較高的應用場景。

性能要求

可識别如下6種手勢:左劃、右劃、向上、向下、順時針、逆時針。

基于毫米波雷達的手勢識别原理

2 FMCW Radar 原理

基于毫米波雷達的手勢識别原理

1. Chirp and frame

FMCW雷達發射的一組Chirp,稱為一個“frame”。

2. 2D-FFT Grid

對每個天線接收到的資料做2D-FFT,将得到包含距離維和多普勒維的二維網格。網格中的峰值表示在距離下存在目标。

3. Angle-FFT

通過處理來自多個RX天線的網格中的相應峰值(“角度FFT”),以獲得目标的到達角度。

3 手勢識别處理流程

基于毫米波雷達的手勢識别原理

算法流程

1. 2D-FFT

對每個接收通道的ADC資料進行處理2D-FFT操作,得到包含距離維和多普勒維的2D-FFT matrix。

2. Noncoherent accumulation/非相幹累加

對多個接收通道的2D-FFT matrix進行非相幹累加,得到Range-Doppler Heat map。

3. Feature Extraction/特征提取

在Heat map中提取多個特征,每個特征生成時間序列。

4. Feature processing/特征處理

對特定時間窗内提取的特征,通過機器學習算法進行分類,輸出對應的手勢類别。

技術難點

1. 确認目标位置

包括:目标的角度和位置。

2. 雷達應具有較高的距離分辨率及角度分辨率

在Heat map上盡量為點目标。下圖中,由于距離、角度分辨率較低,目标進行了發散,傳統的峰值檢測技術将不再試用。

基于毫米波雷達的手勢識别原理

3. Range-Doppler Heat map中提取特定特征

可以将特征視為從熱圖提取的單個數值,其值可反映特定參數的權重平均值;如:平均多普勒,平均距離,多普勒擴充等。其中,雷達的每一幀資料為每個特征生成一個值,通過幀序列得到每個特征的時間序列。

4. 識别和分類

對于手勢識别,在提取了多個特征後,生成特征的時間序列,利用機器學習方法識别和分類各種手勢。

特征提取

1. Weighted Doppler / 權重多普勒

對于每一幀資料的 Heat map,計算手的速度權重。

基于毫米波雷達的手勢識别原理

其中, 為所有的距離資料索引,為Range Doppler Image的值,為第個索引對應的doppler value。

2. Instantaneous Energy / 瞬間能量

檢測手的存在

基于毫米波雷達的手勢識别原理

3. Weighted Range / 距離權重

檢測手的位置

基于毫米波雷達的手勢識别原理

其中, 為所有的距離資料索引, 為Range Doppler Image的值, 為第 個索引對應的Range value。

4. Azimuth Angle \ 水準角度

檢測手的水準角度,區分左劃和右劃手勢。

5. Elevation Angle / 俯仰角度

檢測手的俯仰角度,區分上劃和下劃手勢。

6. Doppler-Azimuth Correlation / 多普勒-方位角相關性

統計特征:水準角度随速度變化,區分逆時針和順時針手勢。

基于毫米波雷達的手勢識别原理

特征分類

利用機器學習的方法,訓練人工神經網絡模型,實作手勢的分類。

基于毫米波雷達的手勢識别原理

處理流程

基于毫米波雷達的手勢識别原理

4 手勢識别及分析

1. 左劃 / 右劃

當手從左向右劃動及從右向左劃動時, Azimuth Angle 及 Doppler-Azimuth Correlation 均有明顯的變化。

基于毫米波雷達的手勢識别原理

2. 上劃 / 下劃

當手從上向下劃動及從下向上劃動時, Elevation Angle 變化趨勢明顯相反。

基于毫米波雷達的手勢識别原理

3. 順時針 / 逆時針

當手順時針或逆時針轉動時,Doppler-Azimuth Correlation分别為正相關和負相關。

基于毫米波雷達的手勢識别原理

繼續閱讀