1 Introduction/簡介
本文以TI的Gesture UserGuide為參考,簡述基于毫米波雷達的手勢識别原理,手勢識别目前在汽車、家電等方面有較高的應用場景。
性能要求
可識别如下6種手勢:左劃、右劃、向上、向下、順時針、逆時針。
2 FMCW Radar 原理
1. Chirp and frame
FMCW雷達發射的一組Chirp,稱為一個“frame”。
2. 2D-FFT Grid
對每個天線接收到的資料做2D-FFT,将得到包含距離維和多普勒維的二維網格。網格中的峰值表示在距離下存在目标。
3. Angle-FFT
通過處理來自多個RX天線的網格中的相應峰值(“角度FFT”),以獲得目标的到達角度。
3 手勢識别處理流程
算法流程
1. 2D-FFT
對每個接收通道的ADC資料進行處理2D-FFT操作,得到包含距離維和多普勒維的2D-FFT matrix。
2. Noncoherent accumulation/非相幹累加
對多個接收通道的2D-FFT matrix進行非相幹累加,得到Range-Doppler Heat map。
3. Feature Extraction/特征提取
在Heat map中提取多個特征,每個特征生成時間序列。
4. Feature processing/特征處理
對特定時間窗内提取的特征,通過機器學習算法進行分類,輸出對應的手勢類别。
技術難點
1. 确認目标位置
包括:目标的角度和位置。
2. 雷達應具有較高的距離分辨率及角度分辨率
在Heat map上盡量為點目标。下圖中,由于距離、角度分辨率較低,目标進行了發散,傳統的峰值檢測技術将不再試用。
3. Range-Doppler Heat map中提取特定特征
可以将特征視為從熱圖提取的單個數值,其值可反映特定參數的權重平均值;如:平均多普勒,平均距離,多普勒擴充等。其中,雷達的每一幀資料為每個特征生成一個值,通過幀序列得到每個特征的時間序列。
4. 識别和分類
對于手勢識别,在提取了多個特征後,生成特征的時間序列,利用機器學習方法識别和分類各種手勢。
特征提取
1. Weighted Doppler / 權重多普勒
對于每一幀資料的 Heat map,計算手的速度權重。
其中, 為所有的距離資料索引,為Range Doppler Image的值,為第個索引對應的doppler value。
2. Instantaneous Energy / 瞬間能量
檢測手的存在
3. Weighted Range / 距離權重
檢測手的位置
其中, 為所有的距離資料索引, 為Range Doppler Image的值, 為第 個索引對應的Range value。
4. Azimuth Angle \ 水準角度
檢測手的水準角度,區分左劃和右劃手勢。
5. Elevation Angle / 俯仰角度
檢測手的俯仰角度,區分上劃和下劃手勢。
6. Doppler-Azimuth Correlation / 多普勒-方位角相關性
統計特征:水準角度随速度變化,區分逆時針和順時針手勢。
特征分類
利用機器學習的方法,訓練人工神經網絡模型,實作手勢的分類。
處理流程
4 手勢識别及分析
1. 左劃 / 右劃
當手從左向右劃動及從右向左劃動時, Azimuth Angle 及 Doppler-Azimuth Correlation 均有明顯的變化。
2. 上劃 / 下劃
當手從上向下劃動及從下向上劃動時, Elevation Angle 變化趨勢明顯相反。
3. 順時針 / 逆時針
當手順時針或逆時針轉動時,Doppler-Azimuth Correlation分别為正相關和負相關。