基于FastICA與ICEEMDAN的人臉視頻心率檢測

趙明康 王 鎮 齊晨成 王藝瀟 張 帥*

1（河北工業大學省部共建電工裝備可靠性與智能化國家重點實驗室，天津 300130）

2（天津市生物電工與智能健康重點實驗室，天津 300130）

引言

根據《中國心血管健康與疾病報告（2020年）》顯示，我國心血管病患病率處于持續上升態勢，目前患病人數約3.3 億，心率是監測和評價心血管相關疾病的一項重要指標。目前，根據設備是否與人體接觸，心率檢測方法分為接觸式和非接觸式。接觸式方法的傳感器需要與人體皮膚接觸，因此無法滿足在特定環境下和對特定人群的心率檢測。非接觸式檢測則避免了這些限制，目前，人臉視頻也被用于非接觸式心率檢測。

2008年，Verkruysse 等［1］首次發現人臉視頻中包含可以測量心率信號。Poh 等［2］首次提出通過面部視頻進行非接觸式心率測量，他們使用獨立成分分析（ independent component analysis，ICA）從RGB三通道的原始信號中提取血液容積脈搏波（blood volume pulse，BVP），證明了低成本的攝像頭提取心率信號的可行性。Kumar 等［3］和Amelard 等［4］提出了可以自動選擇感興趣區域（region of interest，ROI）的方法來提取心率信號。2017年，Wei 等［5］提出了一種基于盲源分離的非接觸測量心率的方法。Norwahidah 等［6］研究了不同面部區域不同測量距離對非接觸式心率檢測結果的影響。2019年，Richard等［7］提出了一種使用均方自相關和負熵作為目標函數的多目標優化的遠程心率測量方法。2019年，Martinez 等［8］利用紅外攝像頭提取臉部光電容積脈搏波（photoplethysmography，PPG） 信號，并用短時傅里葉變換算法提取心率參數。2020年，李曉媛等［9］從YCbCrCg 顏色空間Cg 通路中提取了高質量的PPG 信號， 用 Morlet 復小波（complex morlet，CMOR）作為母波繪制小波能量譜圖，并根據心率參數的生理特性去除偽點噪聲，提取心率參數。

基于成像式光電容積脈搏波描記法（imaging photoplethysmography，IPPG）［10］的非接觸式心率檢測，能夠在不與受試者發生接觸的情況下，遠程檢測出受試者的心率參數。同時，該方法具有低成本、操作簡單、易實現等優點。然而，在實際使用中，由于人頭部存在晃動，易于產生運動干擾，以及后續的信號處理方法的不同，使得實際檢測結果存在差異。因此，如何設計出有效的信號處理方法以實現BVP 信號的準確提取，成為心率檢測的熱點。

1 材料與方法

本研究提出一種基于快速獨立成分分析（fast independent component analysis，Fast ICA）［11］和改進的自適應噪聲完全集合經驗模態分解（improved complete ensemble empirical mode decomposition with adaptive noise，ICEEMDAN）［12］相結合的算法，應用于人臉視頻的非接觸式心率測量，流程如圖1 所示。用攝像頭非接觸地采集人臉視頻，選取額頭作為感興趣區域（region of interest，ROI），并從中提取R、G、B 通道源信號，即皮膚顏色變化信號，分別求出該3個顏色通道的像素平均值，然后利用FastICA 對該3組像素平均值進行解混，得到3 組獨立源信號，再用ICEEMDAN 將其中1 組獨立源信號進行模態分解并選取合適頻段內的固有模式函數（intrinsic mode function，IMF）估計心率信號，最后用頻譜分析計算得到心率。

圖1 心率檢測流程Fig.1 Heart rate detection flow chart

1.1 人臉檢測

根據成像式光電容積脈搏波描記法原理，人體心臟的周期性收縮和舒張功能可以改變血容量，而血容量的改變可以或多或少地改變吸收和反射光的強度，從而導致皮膚顏色的周期性變化。

為了提取人體膚色的周期性變化信息，采用綜合Adaboost 和Cascade（又稱為Harr-Cascade 人臉探測器）［13］的人臉檢測方法消除人臉背景區域、定位ROI，而且速度快。

1.2 感興趣區域選取

在非接觸心率測量過程中，常伴有各種干擾，例如人眼的眨動、說話時嘴的動作等，ROI 的選擇應盡可能規避這些干擾，從而提高檢測精度。去掉眼睛、嘴等部位后可以選取的區域有額頭及鼻梁部分。疫情防護需要佩戴口罩，遮擋了臉部大部分區域，鼻子可作為ROI 的皮膚面積相對較少，而額頭區域較為平整且不容易被遮擋，可作為ROI 的皮膚面積相對較多，且含有大量的毛細血管，所以選擇額頭作為ROI，如圖2 所示。

圖2 ROI 區域選取Fig.2 ROI area selection

1.3 RGB 通道分離及空間平均預處理

IPPG 系統直接采集的信息是包含脈搏信息的原始視頻圖像，但需要獲取高信噪比的BVP 信號。對每幀感興趣區域分離RGB 三通道數據，并分別做空間像素平均處理，即

式中，n為圖像幀數；N為視頻總的幀數；X（n） 為R、G 或B 通道的一維源信號；xi，j（n） 為像素點（i，j）在對應通道的顏色強度值；h和w分別為圖像的高度和寬度。

如圖3 所示，空間像素平均值反映的是皮膚對光線的吸收反射情況，也是后續的心率信息?？臻g像素平均處理能夠有效地抑制噪聲從而提高BVP信號的信噪比。

圖3 RGB 三通道空間像素平均值。（a） 紅色通道；（b） 綠色通道；（c） 藍色通道Fig.3 RGB three-channel spatial pixel average value. （a） Red channel；（b） Green channel；（c）Blue channel

1.4 FastICA

FastICA 是獨立成分分析的一種，采用定點迭代的優化算法，從RGB 濾波后的混合矩陣中提取脈搏波信號，使得收斂更加快速、穩健，提高實時性，可以減少檢測誤差，提高心率檢測的準確性。

FastICA 假設存在3 個相互獨立的源信號s（t）＝［s1（t），s2（t），s3（t）］T（未知），觀測信號是RGB 等3 個顏色通道信號，是源信號的線性組合，即

式中，t是視頻幀數序列，A∈R3×3是未知的非奇異混合矩陣。FastICA 的目的是找到一個解混矩陣，使得

圖4 FastICA 處理后的獨立源信號。（a） s1；（b） s2；（c） s3Fig.4 Independent source signal processed by FastICA. （a） s1；（b） s2；（c） s3

血液對綠色光線的吸收量最大，對紅色光的吸收量最小，因此采集的RGB 三通道信號中綠色信號最能反映出血液流動的信息，將分離出的3 個獨立源信號s1、s2、s3分別與綠色通道信號做相關性分析，取皮爾遜相關系數絕對值最大的對應的獨立源信號，進行下一步的處理。FastICA 得到的3 個獨立源信號s1、s2、s3是無序的，為了從中選出需要的脈搏波信號，將它們分別與綠色通道信號（噪聲最小且與脈搏信號最相近）進行相關性分析，得到的相關性最大成分即為含噪脈搏波信號。

1.5 ICEEMDAN

模態分解（empirical mode decomposition，EMD）［14］是一種時頻信號分析方法，具有小波變換多分辨分析的優點，以自身為基波進行分解，具有良好的自適應性，非常適合處理人臉顏色信號。它依據信號的局部時間尺度特征，自適應地將信號分解成頻率由高到低的IMF 和一個殘余分量，每個IMF 對應不同的頻帶，對應心率頻帶的模態分量即為脈搏波。

應用基于自適應噪聲的完全集合經驗模態分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）［15］仍然存在一定的缺點：分解的模態分量含有一些殘余噪聲以及在信號分解重構的早期階段會產生虛假分量。本研究應用的是改進的CEEMDAN 算法，其在分解過程中加入一種特殊的白噪聲，即高斯白噪聲經過EMD 分解后的第k階IMF 分量。每個模態分量計算信號加噪聲的局部均值，并將分解得到的IMF 定義為殘差信號與局部均值的差值。因此，ICEEMDAN 算法大大減少了IMF 分量中的殘余噪聲問題，改進了CEEMDAN 在分解重構的早期階段容易產生虛假分量和模態混疊的不足。

根據ICEEMDAN 分解得到的IMF 分量由高頻到低頻依序排列，如圖5 所示。每個IMF 分量代表的是不同頻段的信號，選取能夠反映心率頻譜結構特征（心跳頻帶集中在0.5 ～2.0 Hz）的IMF 分量估計心率信號，如圖6 所示，所得到的IMF4為脈搏波，頻率范圍在心跳頻帶內。

圖5 獨立源信號s1 經過ICEEMDAN 分解得到的IMFFig.5 IMF obtained by ICEEMDAN decomposition of independent source signal s1

圖6 根據IMF4 分量估計的心率信號Fig.6 Heart rate signal estimated from IMF4 component

1.6 心率計算

從血容量脈搏波形中提取心率值，其具體操作為，通過傅里葉變換將血液容積脈搏波信號轉換為頻域信號，功率譜密度最大峰值對應的頻率為心率信號。每秒周期性變化的頻率作為x軸，功率譜密度作為y軸，功率譜曲線如圖7 所示。

圖7 心率信號的功率譜密度圖Fig.7 Power spectral density map of heart rate signal

選取頻率位于心跳頻帶內的成分為估計的脈搏波，能量峰值對應的頻率為心跳頻率fh，心率為

2 結果

在室內自然光條件下（無額外光源，室溫25℃），利用CMOS 攝像頭（30 幀／s，圖像分辨率1 920像素× 720 像素）在距離鏡頭50 ～60 cm 處采集30 s測試者頭部輕微晃動狀態下的視頻，一可滿足奈奎斯特采樣定理要求，也能滿足清晰度的要求，二可與設備的讀寫速度相匹配。在進行人臉視頻采集的同時用多參數監護儀（福斯特FM6501-J型）測量實際心率作為參考值，同步保存采集的人臉視頻。將通過本方法處理人臉視頻分析所得的心率結果與多參數監護儀監測所得的心率進行對比。

人臉視頻檢測流程為：用攝像頭采集人臉視頻并從視頻提取R、G、B 通道源信號，分別求出RGB 這3 個顏色通道的像素平均值；然后利用FastICA 對RGB 這3 組像素平均值進行解混，得到3 組獨立源信號，再用ICEEMDAN 將其中1 組獨立源信號進行模態分解并選取0.5 ～2.0 Hz 頻段內的IMF 估計心率信號，最后用頻譜分析計算得到心率。

對8 名人員進行了人臉視頻檢測，并同步進行了多參數監護儀檢測作為對比。與此同時，為了全面評估所提出方法的效果，復現了FastICA 與小波變換、FastICA 與CEEMD 的心率算法用作對比分析。從表1 可以看出，FastICA 和ICEEMDAN 相結合的方法檢測出的心率結果非常接近多參數監護儀檢測出的結果，其誤差都在1 beat／min 以內，最大誤差是1 beat／min，FastICA 與小波變換、FastICA 與CEEMD 方法所得結果與多參數監護儀所測值也比較接近，但是平均誤差和均方根誤差較大，因此通過表1 能夠得出所提出算法能夠有效濾除含噪脈搏波中的噪聲，在頭部晃動狀態下實現BVP 信號的準確提取，使檢測結果更加準確。

表1 實驗數據Tab.1 Experimental data

3 討論和結論

非接觸式心率測量是未來測量方式的趨勢，有助于實現舒適、簡單、無創的人體心率測量，對日常監護、遠程醫療都具有重要的實用價值和應用前景。近年來，利用IPPG 信號提取心率信息的相關研究不斷進行，但頭部存在晃動產生的運動干擾以及后續信號處理方法的不同，造成了與實際檢測結果的偏差。為實現BVP 信號的準確提取，本文提出了一種基于FastICA 與ICEEMDAN 相結合的算法。其優勢在于：FastICA 從RGB 濾波后的混合矩陣中提取脈搏波信號，使得收斂更加快速、穩健，縮短了運算時間，可以減少檢測誤差，提高心率檢測的準確性；ICEEMDAN 可以將含噪脈搏波中的噪聲有效濾除，且避免了傳統線性濾波器在使用時復雜的參數選取過程，大大提高了算法的自適應性，減少了工作量。測試結果顯示，平均誤差和均方根誤差均小于1 beat／min，這得益于Fast ICA 與ICEEMDAN相結合的信號處理方法，增強了濾除含噪脈搏波噪聲的效果，增加了檢測結果的準確性。

本研究對基于人臉視頻的心率測量有效，可用于精確檢測人體的心率。IPPG 技術可以提高對象的舒適性。此外，本方法所涉及的操作過程簡單快速，時間空間響應迅速，適宜于長期心率監測?；诜桨?，在未來的研究中，將有助于探討用于測量呼吸速率、血紅蛋白飽和度等生理參數的方法。