論文《Heart Rate Variability Extraction From Videos Singals:ICA vs. EVM Comparsion》的完整翻譯， 如有翻譯不當之處敬請之處， 謝謝（2019年4月16号）
摘要
醫學研究人員一直對心率（HR）和心率變異性（HRV）分析感興趣。然而，如今，來自各個其他領域的研究人員也在探讨這個課題。非接觸式HR和HRV測量技術的最新進展可能會進一步幫助人們借助HRV提高對情緒評估的興趣。這些測量方法涉及通過照相機從人的面部提取光電容積脈搏波（PPG）信号。最新方法在視訊記錄的顔色通道上應用獨立成分分析（ICA）以提取PPG信号。其他研究方法依賴于歐拉視訊放大（EVM）來檢測與PPG相關的皮膚顔色的細微變化。據我們所知，EVM還沒有成功被應用于從人臉視訊中提取HRV特征。在本文中，我們提出了兩種方法，一種是基于ICA，另一種是基于EVM， 并将這兩種方法進行了比較。最終結果表明，當涉及高頻（HF）和低頻高頻（LF / HF）HRV參數[平均絕對誤差（MAE）為0.57和0.419]時，所提出的基于ICA的方法比基于EVM的方法（MAE 0.76和1.69）會産生更好的結果;然而，對于低頻而言，第二種方法産生更好的MAE結果和與ground truth更高的相關性。此外，我們提出的ICA方法通常通過改進HF估計顯示出更好的結果，但是當涉及運動或HF成分不重要時，基于EVM的方法可能更合适。
名詞索引：血容量脈沖（BVP），歐拉視訊放大（EVM），心率變異性（HRV），獨立成分分析（ICA），光電容積脈搏波（PPG），遙感。
1. 介紹
心率（HR）是指一個時間間隔内的心跳次數，而心率變異性（HRV）是指連續心跳之間的時間間隔的變化。HRV的變化以及其他生理特征高度反映了人類的情感次元[1]。是以，除了評估心髒問題外，HRV分析還可用于測量受試者的精神壓力[2]，[3]。
測量HRV的過程可分為接觸方法或非接觸方法。接觸方法是用于提取HRV信号的最廣泛使用的技術，并且通常涉及使用直接放置在受試者身體上的傳感器。這些方法可涉及測量通過ECG傳感器獲得的心電圖（ECG）信号或通過脈沖血氧計獲得的光電容積脈搏波（PPG）信号。相反，非接觸式方法依賴于估計心律但是不直接放置在受試者身體上的傳感器的使用者。傳統上，非接觸式方法涉及使用高度專業化和昂貴的傳感器，如雷射和微波多普勒[4]，[5]。最近，已經表明PPG信号可以被以外界光為照明源的标準數位相機測量。此外，現在可以通過簡單記錄的面部視訊來估計HRV特征[7]，這使得進行HRV分析變得更容易，更便宜和更實用。
許多應用，例如涉及新生兒監測[8]和壓力監測[9]的應用，可以通過采用遠端生理測量方法來增強。在估算HR和HRV時，接觸式測量裝置仍然是黃金标準。但是，非接觸式或遠端測量技術不需要電極與主體的連接配接[10]，是以對于上述應用可能是更友善的測量方法。此外，基于接觸傳感器的HRV監測可能使受試者感到緊張或不舒服，這會在結果中産生可變性，尤其是對于情緒估計。
非接觸式裝置還允許在不驚擾被監測對象的情況下進行測量。 例如，這種技術可以應用于警方審訊中，以監測壓力和喚醒的迹象。
本文的貢獻可歸納為兩點：1）介紹一種基于EVM的方法，用于從人臉視訊中提取HRV參數; 據我們所知，這是第一次成功實作此目的。 2）介紹基于ICA的第二種方法。 所呈現的結果将表明，與先前的工作相比，我們提出的基于ICA的方法通過使用非接觸方法産生了更準确的HRV參數估計結果。
本文的其餘部分安排如下。 我們在第二部分介紹了相關工作，在第三部分介紹了提出的方法，實驗結果和讨論在第四部分和第五部分，并在第六部分提供了我們的結論和未來的工作方向。
2 相關工作
可以使用幾種方法實作生命體征的非接觸式測量。 例如，基于雷射多普勒的方法可用于通過分析角度和剪切心髒振動來測量人類受試者的心率（HR）和呼吸率（BR）[4]。另一種方法涉及使用微波多普勒，其中系統操作員控制配備有電荷耦合裝置錄影機和0.6米碟的雷達系統，以将射束瞄準對象胸部的胸部區域[5]。此外，熱成像可用于捕獲有關主要淺表血管中血液運動的資訊[11]。
然而，最近的研究表明PPG信号可以在環境光條件下使用标準數位相機進行測量[6]。Poh等人 [12]介紹了一種通過面部視訊記錄檢測心率的方法。 該方法證明了使用相對便宜的相機的非接觸式HR測量方法的實用性。
此外，Poh等人[12]提出了一種估算HRV特征和頻域參數的方法[7]。 這種技術使用短距離的RGB錄影機錄制; 但它的頻段分辨率有限（隻有紅色，綠色和藍色）。相反，Mcduff [10]建議結合青色，橙色和綠色條帶以獲得更好的效果。 為此，一個新穎的五頻段數位相機被使用，它能夠記錄沿着RGB波段的青色和橙色，而不是标準的RGB相機[3]，[10]。使用該方法，可以使用替代頻帶來提高測量生理特征的準确度。
[7]中提出的方法使用獨立分量分析（ICA）從視訊中提取BVP波形。 ICA是一種用于從一組向量中隔離獨立信号的技術，這些向量由這些信号的線性組合組成[13]。ICA與經典因子分析等其他方法的差別在于ICA搜尋統計獨立和非高斯信号[14]。
ICA适用于各個領域的許多應用[14]。例如，它可以用于腦成像，因為附着在頭皮上的電極線性地組合了從各種腦源産生的信号。另一個應用是計量經濟學，其中ICA用于将并行時間序列分解為獨立元件以揭示有關資料集結構的資訊。 ICA還用于圖像特征提取，以定位非常獨立的圖像特征。
使用ICA [7]去恢複PPG信号，[10]是目前研究最多的方法。 然而，這種方法對光的運動和變化很敏感[15]。 在HR提取方面，EVM技術被證明是有效的[15] - [18]。它基于歐拉原理，指出壓力和速度随時間發展，是以稱為“歐拉視訊放大”。 在視訊中使用歐拉視角時，每個像素都會被獨立處理并作為時間處理。
EVM利用局部空間池和時間濾波來提取心髒脈沖的信号[17]。 該技術允許放大由面部血管中的血流引起的皮膚顔色的細微變化[16]。 是以，該方法可用于使該現象肉眼可見。 盡管如此，使用這種方法提取HRV信号仍然是一個挑戰，隻有很少的嘗試[15]，[18]。
3 方法
A PPG信号的恢複
我們提出了兩種方法來從記錄的人類面部視訊中恢複PPG信号。 一種是基于ICA技術，第二種是基于EVM技術。 圖1和圖2提供了兩種方法的概述。 這兩種方法都旨在提取心髒搏動時心血管周圍循環的心血管脈搏波。
在ICA和EVM方法中有幾個常見的步驟。 其中之一是确定最适合使用的感興趣區域（ROI）。 為此，我們使用面部檢測算法在視訊的第一幀中定位面部區域。算法生成坐标，以及描述圍繞面部區域的框的高度和寬度。 在臉上，血流的最高區域是前額和臉頰[19]; 是以，盒子内最相關的區域是前額和臉頰。是以，我們選擇一個以40％寬度為中心的ROI框，并圍繞面部框的全高。 從第一幀擷取的ROI用于所有幀以保持其穩定性，這假設在記錄期間對象靜止而使運動僞影最小化。
其中μi和θi分别是i = 1,2,3的平均值和标準偏差。
1）基于ICA的方法
我們總結了基于ICA的方法如下（見圖1）：
1）從ROI擷取原始信号。
2）從ROI中提取紅色，綠色和藍色（RGB）通道。
3）使用ROI中的所有像素對每個RGB通道進行空間平均，以産生紅色，綠色和藍色離散信号。這些信号分别表示為y 1（t），y2（t）和y 3（t），并且被稱為原始元素。 在這裡，我們使用[20]的方法以λ= 2000作為平滑度參數來消除原始元素，并使用等式（1）對去趨勢的原始元素進行歸一化。
4）使用特征矩陣（JADE）算法[21]的聯合近似對角化來應用ICA技術，将原始元素分解為三個獨立的源信号。 ICA有助于将觀察到的原始元素與運動僞影引起的噪聲分開[12]。 應用ICA時，源信号以随機順序傳回。
5）要選擇最佳分量，在輸出源上應用快速傅裡葉變換（FFT），并選擇峰值在45和180bpm範圍内的峰值[10]。
6）對結果信号應用一系列濾波器。 第一個濾波器是K點移動平均值，用于使用等式（2）平滑信号，其中K = 5。
7）應用一個3db帶通漢明視窗濾波器，其截止頻率在0.75和3HZ之間，低頻和高頻分别為45和180bpm（正常人體HR範圍）。
8）由于我們的實驗裝置被人工照明點亮，這種照明産生高頻信号，幹擾從視訊中提取的PPG信号。 是以，需要額外的濾波來清理信号。 如果我們測量HR，那麼這不是一個主要問題（因為HR涉及計算PPG峰值的數量，而不管它們之間的時間間隔）。 但是，在HRV估計的情況下，要獲得R-R間隔，信号應該很幹淨。 是以，我們添加了一個窄IIR帶通濾波器，其截止頻率基于測量周期的特定HR範圍。 該技術對于短的測量周期尤其有效。 值得注意的是，在許多情緒和生理評估應用中，通常使用長度為5分鐘的HRV記錄[2]。
9）根據III-B部分産生的信号确定minHR（最小HR）和maxHR（最大HR）。
10）使用minFreq方程（3）和maxFreq方程（4）作為截止範圍，以建立窄IIR濾波器。 将IIR濾波器應用于步驟7中檢索到的信号。
11）設計二階Butterworth濾波器以衰減感興趣頻帶之外的頻率。 我們發現α= 5（等式（3））和β= 5（等式（4））得到了良好的結果。 我們采用Butterworth濾波器與其他IIR濾波器相反，因為它的平帶通帶和阻帶可以幫助避免波紋。 這将阻止某些頻率優于有效範圍内的其他頻率。
Y s是第i個資料點的輸出平滑值的符号，N表示鄰居的數量。 （2N + 1）是5。
其中i是測量周期，α是常數ε[0，∞）。
其中i是測量周期，β是常數ε[0，∞）。
2）基于EVM的方法
據我們所知，圖2中所示的基于EVM的方法是使用EVM技術從面部視訊中提取準确HRV特征的第一次成功嘗試。 如果目标僅僅是獲得HR，則從EVM放大視訊中提取的綠色通道足以進行這種操作，并且不需要進一步處理。 然而，HRV信号對噪聲非常敏感，是以需要更多的濾波。
以下是執行提出的EVM方法所需的步驟（參見圖2）：
1）在裁剪的ROI而不是整個幀上應用EVM放大算法。
2）通過對每個像素應用傅立葉變換，并将每個不在截止（45和240bpm）之間的頻率設定為零，将高斯金字塔應用于空間池和窄帶通濾波器。 然後應用逆傅立葉變換重建幀。
3）使用步驟3中采用的基于ICA的方法的相同過程對每個RGB信道進行空間平均。
4）從我們的實驗中，綠色通道似乎呈現最幹淨的PPG信号。 是以，它是選擇用于進一步處理的那個。 為了降低噪聲，綠色通道使用5dp移動平均值，截止頻率在45和180bpm之間的3dp Hamming視窗以及具有minFreq和maxFreq作為截止頻率的Butterworth帶通濾波器進行濾波（基于ICA的方法使用相同的濾波器）。
3）ICA和EVM的HRV信号處理
由于相機幀速率的限制（我們在資料采集中使用30fps），所得到的PPG信号被認為是低分辨率的。 這将極大地影響HRV分析。 為了解決這個問題，在240Hz下實作三次樣條插值（圖3）。 在插值信号之後，應用峰值檢測算法。 麥克杜夫等人 [10]證明0.25秒的移動視窗與接觸傳感器測量結果高度相關。 在視窗内檢測到最高點。 如果檢測到的點大于上一個視窗中的最高點并且大于下一個視窗中的最高點，則将其選擇為峰值。 對整個信号重複相同的過程。
通過計算連續峰值之間的時間來提取RR間隔序列。 頭部運動，光照變化和其他僞影可以通過影響RR間期來影響HRV分析的準确性。 為了減少這種誤差源的影響，需要過濾HRV系列。 我們工作中使用的間隔校正基于[22]中提出的技術（圖4和5）。
B.生理參數的定量
HR對我們的方法非常重要，因為我們使用受試者的HR範圍作為濾波器的截止頻率。 用于提取HR的方法基于[23]和[12]（圖6）。 由基于ICA的方法輸出的所選擇的獨立分量或來自基于EVM的方法的綠色通道信号是該階段的輸入信号。 為了丢棄不需要的頻率，對信号應用帶通濾波器。 在這種情況下使用IIR濾波器，更具體地是二階巴特沃斯濾波器。 人類的正常HR範圍在45到180bpm之間，是以給予濾波器的截止頻率為0.75-3Hz。 之後，我們通過應用快速傅裡葉變換（FFT）将時域信号轉換為頻率。
為了連續估計HR，在最後三秒信号的移動視窗中每0.5秒執行FFT過程，峰值檢測和平滑過程。
選擇持續時間為三秒，因為它相對于我們嘗試的其他長度給出了最佳結果。 這些步驟每0.5秒執行一次，以增加HR計算的次數，稍後将對其進行平滑以提供更好的估計。 為了減少通過FFT将信号視為周期性時出現的人為高頻，使用Hanning視窗使邊緣為零。 在執行FFT之後，在感興趣頻帶中檢測到最高峰值，其是在45和180之間的HR頻帶。然後在FFT矢量中将檢測到的峰值轉換為右頻率。 通過功率譜密度（PSD）估計來實作頻域的HRV分析。 我們感興趣的主要參數是低頻（LF），其對應于0.04至0.15Hz，高頻（HF）對應于t0 0.15至0.4Hz和LF / HF。 LF和HF參數的值被轉換為标準化機關（n.u.）。
4 結果和評估
A.實驗設定
12名受試者參加了實驗。 參與者為9名男性和3名女性，年齡介于21至40歲之間。 此外，一些男性受試者有面部毛發。 實驗發生在沒有任何窗戶的房間内，人造燈是唯一的照明來源。 使用熒光燈管，它是一種低壓汞蒸汽氣體放電燈，使用熒光産生可見光。 參與者被要求坐在相機前并保持靜止，同時用标準數位相機（佳能XL2）以30幀/秒（fps）記錄面部視訊兩分鐘，像素分辨率為720 x 480并儲存為 一個AVI檔案。 然後以未壓縮的格式從錄影機導出視訊，以防止任何幀丢失或品質損失。使用連接配接到受試者胸部的Bioharness ECG傳感器收集gruond truth HRV信号。 使用MATLAB（The Mathworks，Inc。）編寫的定制代碼分析來自接觸傳感器和視訊記錄的測量值。 開放計算機視覺（OpenCV）庫[24]使用增強級聯分類器[25]作為人臉檢測算法。
B.結果
第III部分中描述的兩種方法用于從錄制的視訊中提取PPG信号。 圖7顯示了從基于ICA和EVM的方法的視訊中提取的PPG與來自實驗中使用的ECG傳感器的ground truth之間的比較。 很明顯，PPG和ECG信号的RR間隔非常相似。
1）基于ICA的方法
在提取時域和頻域參數之後，執行基于ICA的方法與ground truth之間的比較。 如表1所示計算平均絕對誤差（MAE）。SDNN，平均RR和平均HR分别顯示非常低的MAE，它們分别為008ms，0.005ms和0.006bpm。 頻域參數的MAE，LF，HF和LF / HF分别為0.34n.u，0.57n.u和0.419。 為了确定我們的基于ICA的方法與ECG傳感器的結果之間的一緻性水準，使用Pearson的相關系數，其中n = 12。從視訊中提取的參數與ground truth密切相關，平均RR為r = 0.999，LF參數r = 0.8，HF參數r = 0.84，LF / HF參數r = 0.74。 所有參數均p <0.001。
2）基于EVM的方法
于EVM的方法的結果顯示在表2中.SDNN的MAE，平均RR，平均HR，LF，HF和LF / HF分别為0.1ms，0.006ms，0.006bpm，0.28,0.76,1.69。 Pearson的相關性也用于此方法，以确定此方法與ground truth之間的一緻性水準。 大多數HRV參數高度相關，平均RR為r = 0.999，LF和HF參數r = 0.831和0.789，LF / HF為0.256。
5 讨論
在這項工作的第一種方法中，我們使用基于McDuff[10]等人的先前作品測試了我們錄制的視訊（人造燈是這些視訊中唯一的照明光源）。如在現有技術ICA的情況和EVM的第一次嘗試中所看到的，提取的信号非常嘈雜，圖8導緻不良結果。這是由于與PPG信号混合的高頻噪聲。 是以，可以說前面的方法僅在信号不是很嘈雜時才能很好地工作。
本工作中提出的兩種方法旨在解決噪聲問題。 基于EVM的方法比以前的方法更有效地清理信号，是以産生了良好的時域結果。 當涉及LF組分時，該方法顯示出最佳結果，MAE為0.28，而所提出的ICA的MAE為0.34。還獲得了基于EVM的方法與ground truth之間的LF分量與所提出的ICA與ground truth之間的相關性的更高相關性。
此外，基于EVM的方法顯示了令人印象深刻的結果，但由于HF頻率噪聲無法與PPG信号分離，HF和LF / HF元件被破壞。 是以，所提出的ICA方法是最友善的方法，并且在時域和頻域都産生了幹淨的信号和非常好的結果。
确實，我們提出的ICA在我們的實驗中有更大的希望，但是當涉及運動或HF元件不重要時，基于EVM的方法可能更合适。
6 結論和未來的工作
在這項工作中，我們提出了兩種從視訊信号中提取HRV的新方法。 第一種方法基于獨立分量分析（ICA）技術，第二種方法基于歐拉視訊放大（EVM）技術。
據我們所知，這是第一個使用EVM技術從PPG信号中提取生理參數的成功方法。 該方法已經在來自不同種族，性别和膚色的12名受試者上進行了測試。 當涉及時域參數時，該方法顯示出很好的結果，但是我們無法消除影響HF和LF / HF參數的高頻噪聲。 另一方面，基于ICA的方法解決了HF噪聲問題。 與先前基于ICA的方法相比，我們提出的ICA方法在結果方面取得了巨大進步。 更具體地，該方法使得可以處理噪聲信号，尤其是當僅有人造光作為照明源時拍攝的視訊。 這種照明産生HF信号，幹擾從視訊中提取的PPG信号。
當涉及HF參數時ICA更好的原因是因為在EVM技術中使用空間池，其将附近的像素組合在一起，而ICA技術将信号分離成獨立的元件，這使得信号噪聲更小。 這與我們對之前的ICA方法的貢獻相結合，使我們能夠獲得更好的結果和更少的噪聲信号。 由于這項工作的主題仍處于早期階段，是以未來的工作還有很大的空間。 該方法的一個重要改進領域是受試者的運動。 在目前的方法中，受試者需要保持靜止，因為運動會産生噪聲結果。 允許主體移動将為更多應用打開大門。
另一個目标是使我們在此工作中建構的HRV參數提取軟體實時運作，而不僅僅是錄制的視訊。 如果有人想将其用于實時回報，這将使軟體更加靈活，動态和有用。
未來的主要目标是把這個方法用于非醫療領域。我們希望利用非接觸式估計HRV的方法獲得的良好結果，以便在不依賴于面部表情分析的情況下估計情緒。這将允許更準确的結果來估計情緒，因為受試者将無法用假表達來隐藏他們的情緒。 應用這一想法的一個很好的例子是分析參與者在政治辯論中的情緒以及幫助警方審訊。 我們還計劃在本文中添加一些我們沒有時間實作它的額外細節，比如所提到的不同方法之間的統計比較，我們希望進一步擴充我們的工作，增加以前的方法已經完成的工作。添加我們實驗中使用的相機通道的光譜靈敏度是我們未來的計劃之一，并且在處理時間，每種方法所需的最小視訊幀數以及哪個面部子區域給出最高精度之間進行更詳細的比較。