基于正弦波拟合的心率测量方法研究

傅

里叶变换法是基于人脸图像的心率求取的代表性方法，但傅里叶变换法常常面临图像视频采集时间较短时测量准确度下降的问题。针对傅里叶变换法采集时间和准确率存在矛盾的问题，本文提出了一种结合模最大值均衡化与正弦波拟合的方法。在获得人脸视频ROI均值序列后，先对序列进行模最大值均衡化处理，使序列波形更接近正弦波，再以拟合正弦波的频率为基准计算得到心率。基于DEAP数据库70组数据的实验结果表明，当采集时间较短时，比起基于傅里叶变换的心率测量方法，基于正弦波拟合的心率测量方法在测量准确率和分辨率上都有明显优势，很好的解决了傅里叶变换法在采集时间较短时分辨率和准确率矛盾的问题。

接触式的心率测量要求设备与待测量者发生一定的物理接触，存在一定程度上的不便（万铮结.基于人脸视频图像的心率检测研究[D].杭州:浙江工业大学,2014:1-2）。近年来，基于人脸图像处理求得心率的心率测量方法逐渐流行，其中最常用的是傅里叶变换的相关算法求取心率法（陈旭.基于人脸视频的心率测量算法研究[D].成都:电子科技大学,2019:50-51），如使用滑动窗口把心率序列截取为若干段，对每段短序列进行傅里叶变换得到该段心率，再取全部心率数据的均值作为测量结果的滑动加窗傅里叶变换法（皮慧.基于人脸图像的非接触式心率测量方法研究[D].南京:东南大学,2017:40-41）；先用小波滤波分离出目标频率源波形，再用傅里叶变换进行能量谱分析，求得心率的方法（刘祎,欧阳健飞,闫勇刚.基于普通摄像头的心率测量方法研究[J].计算机工程与应用,2016,52(7):210-214）。但这些方法没有改变傅里叶变换中，测量准确率、分辨率与数据量正相关的特点，仍然需要花费几十秒甚至一分钟来采集人脸图像，不但占用了时间，给待测者带来了不便（徐杰.基于图像的心率测量软件模块的设计及实现[D].重庆:重庆邮电大学,2016:27），还为测量结果带来了隐患和误差。

图1 基于正弦波拟合的心率测量流程• 100 •

从心率时间序列测得心率的过程，可视为依据心率时间序列估计心率参数的过程。回归拟合是参数估计的经典方法之一，人在静息状态下，心跳趋于稳定，心率趋于常数，人的心率波形可视为周期信号（徐光.基于光电容积脉搏波基成像心率检测技术的研究[D].武汉:武汉于理工大学,2014:47-48），此时可采用周北

期波形拟合心率时间序列，当误差足够方正小时，拟合得到的周期波形的频率可视工业弦为数值上等于待测者的心率。故通过计大波算拟合正弦波的频率，就可得到待测者学信拟心率的数值。本文依据模最大值均衡化息结合正弦波拟合法，提出了一套完整的学合院心率求取流程，如图1所示。

王 的心率求取流程的输入输出如图2所示。一心本文提出的通过回归拟合测量心率　丁率的方法，准确率高，且没有传统的傅里叶王变换法要求数据量多、数据量不足时测量梦测源准确性因此降低的缺点。正弦波拟合所需量的点数较少，无须花费太长时间采集人脸方图像，避免了占用待测者太长时间、给待法测者带来不方便的缺点；拟合得到的信号研的频率可以取到任何值，即心率测量结果可以取到任何值，不但分辨率极高，而

究

图2 基于正弦波拟合的心率测量流程输入输出

ELECTRONICS WORLD󰉾探索与观察图3 欧拉影像放大流程图

图4 欧拉放大前后影像对比图

图5 欧拉放大前后ROI均值对比图

• 101 •

ELECTRONICS WORLD󰉾探索与观察且解决了傅里叶变换法中，测量结果只能取到分辨率允许条件下，最接近心率的值而导致的误差问题。

本文主要工作分为以下三部分：

（1）视频处理及原始心率序列提取：对视频进行处理并从中提取原始心率时间序列。

（2）模最大值均衡化：进行模最大值均衡化处理，使心率时间序列的波形更接近正弦波，为拟合做铺垫。

（3）正弦波拟合结合计算得到心率：以拟合得到的正弦波的频率为基准，通过计算得到心率。

1 视频处理及原始心率序列提取

1.1 人脸图像视频数据来源简介

本文使用的人脸图像视频数据来源于DEAP数据库。DEAP数据库是一个由视频、脑电图等生理信号组成的开放多模态数据集，常用于情感状态分析研究中。该库记录了被测者们观看时长1分钟的音乐视频时的视频和生理信号，包括32路EEG信号（512HZ）、GSR信号、EOG信号、EMG信号、PPG信号、Temp(皮温)和Statue（状态信号）。由于从该库提供的数据中可解析出心率信号，故该库也可用于基于人脸图像视频的心率测量（杨雯.基于基于人脸视频的非接触式心测量算法的研究与实现[D].北京:北京邮电大学,2019:19-20）。1.2 视频裁剪

DEAP库提供的视频画面尺寸为720×576，不仅包含了被测者的面部和肩部，还包含了被测者正在观看的音乐视频图像和周围环境图像，这为后续的欧拉影像放大带来了不利因素：音乐视频图像快速变化的画面会引入光污染等干扰，严重影响欧拉影像放大的效果；周围环境占视频画面比例较大，人脸部分不突出，心率信号与环境噪声的信噪比不佳。实验结果证明，如果不对音乐视频图像和周围环境图像进行预处理，这两者将导致测量结果误差增大（Huan Qi,Zhenyu Guo,Xun Chen,Zhiqi Shen;,Z.Jane Wang.Video-based human heart rate measurement using joint blind source separation[J].Biomedical Signal Processing and Control,2017,31:318-319）。

为解决这两个问题，需要对原始视频进行裁剪，只保留人脸部分和周围背景，剪去音乐视频图像和大部分环境背景。裁剪后视频的尺寸为372×372。1.3 欧拉影像放大

从人脸图像中提取出来的波形不仅包含脉搏波信号，

• 102 •

还包含由待测者呼吸、抖动，灯光照射等引起的噪声。脉搏波信号十分微弱，未经放大的脉搏波经常湮没在噪声之中，为心率测量带来困难。因此，需要对裁剪后的视频进行欧拉影像放大（Eulerian Video Magni-fication），以增强心率信号，提高图像信噪比（Abnousi Freddy,Kang Guson,Giacomini John,Yeung Alan,Zarafshar Shirin,Vesom Nicholas,Ashley Euan,Harrington Robert,Yong Celina.A novel noninvasive method for remote heart failure monitoring:the EuleriAn video Magnification apPLications In heart Failure studY(AMPLIFY)[J/OL].NPJ digital medicine,2019,80:1[2019-12-13].https://www.ncbi.nlm.nih.gov/pubmed/31453375）。

欧拉影像放大算法先对目标图像进行金字塔分解，得到多个不同尺

度的小图像。再通过时域滤波，从图像中筛选出目标频段，视作心率信号的泰勒级数逼近并进行放大。最后，欧拉影像放大算法通过相同尺寸图像的相加和上采样，将不同空间频率的图像合成目标频段放大后的图像。整个过程如图3所示。

放大前后的影像对比如图4所示。放大前后的人脸ROI均值对比如图5所示。

若不对视频进行处理，直接进行序列提取和心率测量，得到的测量准确度和测量误差较大，难以用于心率测量，如表1所示。经过视频裁剪和欧拉影像放大两步处理后，测量准确度和测量误差得到了大幅度的改善（见3.1节），心率测量结果才有应用价值。可见，视频裁剪和欧拉影像放大对提高心率测量准确度有积极的正面作用。

表1 Performance comparisons on DEAP database using different non-contact HR measurement methods(with adaptive δ-correction).)

方法平均误差Poh5.70IVA4.9227M-CCA4.7001C-MCCA

3.65

1.4 人脸检测、ROI提取及心率序列提取

在对视频进行欧拉影像放大时，日光灯的频闪、荧屏的亮光、周围的暗电流等都会对放大产生干扰，使得放大后视频中的脸部各部分变色时间不统一。为解决这个问题，可对视频进行人脸检测，并在后续工作中只采用ROI部分的数据，减少干扰。

在人脸检测开源库中，深圳大学于仕琪发布的libfacedetection库识别率高、识别速度快，是目前最好用的开源库之一。与Opencv提供的CascadeClassifier库相比，libfacedetection库的运算速度是其6倍，检测率更高，检测角度更大，且泛用性更强，且可以进一步提升检测速度（zuoqing1988.ZQCNN-MTCNN-vs-libfacedetection[EB/OL].2019-03-25.[2019-12-5].https://github.com/zuoqing1988/ZQCNN-MTCNN-vs-

ELECTRONICS WORLD󰉾探索与观察libfacedetection）。基于以上原因，本文采取libfacedetection库的facede-tect_frontal_surveillance函数进行人脸检测。

在DEAP视频中，采集被测者生理数据的装置会遮挡部分脸颊和额头。为避免采集装置遮挡带来的干扰，选取没有传输线路经过的鼻子作为ROI。

因为后续的心率计算都是针对一维数据的分析，故选取ROI区域后，还得提取每帧图像ROI区域的均值，得到反映心率信号的时间序列，才能进行后续工作。1.5 小波分解滤波

经过欧拉影像放大和ROI均值提取后，心率时间序列的波动明显可见，心率的初步测量成为可能，但信号包含的噪声仍然会影响测量的精度，降低心率测量的准确率。

小波变换是信号分析领域的一种经典方法，它可通过平移、拉伸等各种运算，将待处理的信号多层级细化，将目标部分与其他部分进行分离，完成目标信号的提取（费佩燕,郭宝龙.一种高效的小波变换去噪方法[J].信号处理,2005,21(6):656-658）。

在静息状态下，大多数人的心率趋于稳定且介于0.7～2.5Hz之间，故可采取小波去噪算法对信号进行分解，滤除频率过高的杂波，提高信号信噪比。当视频的帧率是50fps时，PPGI信号频率的范围为0～25Hz。使用db3小波将PPGI信号分解后提取0～3.125Hz的低频部分，其余部分舍弃，就滤除了因身体晃动、周围环境干扰等因素导致的噪声。分解过程如图6所示，滤波效果如图7所示。

图6 小波分解滤波过程

图7 小波分解前后对比

2 回归拟合法测量心率

静息时采集的、纯净的心率时间序列可近似视为周期序列，且形态接近于正弦波，本文因此提出使用正弦波拟合心率时间序列来测量心率的方法。2.1 模最大值均衡化

人脸每次变色的幅度都不一致，反映到心率时间序列上，就是每次模最大值的值都不一致，增大了正弦波拟合的不准确性。为使心率时间序列的波形更接近于正弦波，就须对心率时间序列进行模最大值均值化，减小各个模最大值间的差值。

本文使用归一化后对模开方的方法对原心率时间序列进行平衡，具体流程为：先将心率时间序列归一化至[-1,1]的区间内，再使模值开方后的值与原值保持正负一致性，并以此值取代原值构成新的序列。模最大值均衡化后的序列如图8所示：

图8 均衡化前后对比图

模最大值均衡化没有改变心率时间序列的频率，故对原心率时间序列做模最大值均衡化不影响后续的心率计算。

此外，模最大值均衡化中归一化的步骤也为正弦波拟合打下了良好的基础：它令拟合函数中的d固定为0，简化了运算。2.2 正弦波拟合及心率计算

经过一系列处理后，心率时间序列中的杂波进一步减少，频率较为纯净，形态接近于正弦波，正弦波拟合的条件

已经成熟。

• 103 •

ELECTRONICS WORLD󰉾探索与观察正弦波拟合是非线性拟合，非线性拟合的常用算法是高斯—牛顿迭代法。高斯—牛顿迭代法的基本思想是，利用泰勒展开式近似地替代非线性回归模型，然后以残差平方和最小为准则，通过迭代修正回归系数并使其不断逼近最佳回归系数。拟合的步骤如下：

（1）确定拟合函数形式。因静息状态下人的心跳是具有单一频率、周期性的特点，且心率时间序列图形接近于正弦波，故选择单一频率正弦波作为拟合函数。因在模最大值均衡化中已将初始心率时间序列归一化到[-1,1]，故令d=0，即得拟合函数（2）确定初始值。不妨令a=1，c=0。画出心率时间序列的图形后，可根据其波峰、波谷的个数为b赋初值。波峰、波谷的个数与心率频率范围的关系推导如下：

图9 同数量波峰、波谷时的频率范围示意图

设心率时间序列含有z个波峰和w个波谷。当序列刚好有z个波峰和w个波谷时（图9蓝色范围），心脏正好跳动了个周期；当心率时间序列马上要达到z+1个波峰和w+1个波谷时（图9红色范围），心脏跳动周期数接近于。又序列采集时间为，则可知，心率下限为：上限为：

取心率下限和上限的中间值作为b的初值，即令：

• 104 •

令：

就得到了初始值：

。

（3）利用泰勒级数展开并略去二阶及以上部分。令由公式得：（4）建立矩阵。将式代入式并用矩阵表示之，则有：

其中：

（5）迭代。用最小平方法对式进行修正，则有：

依次迭代，直至结果符合期望为止。拟合结果如图10所示。

图10 拟合效果图

可见，拟合得到的正弦波与原心率时间序列频率接近，误差较小。

3 实验结果与分析

3.1 数据采集及实验环境

本文使用的人脸图像视频数据来自DEAP数据库，是该库提供视频的

ELECTRONICS WORLD󰉾探索与观察片段。每个片段视频时长5秒，共250帧，分辨率为372×372，人脸在图像中占比不小于20%，本文总共使用了70个片段视频。

主程序使用C++语言编写，使用Matlab Curve Fitting来完成正弦波拟合。

3.2 正弦波拟合法测量结果及与傅里叶变换法对比

本文采用了平均误差、误差等级两个指标衡量测量的准确性。平均误差即使用某方法对全部数据做心率测量得到的平均误差；误差等级为本文定义的指标，它以可容忍度为标准，对单次测量中测量心率值与真实心率值的误差做了等级划分。考虑到人体心率在短时间内也存在频值波动、手指心率测量器不显示小数位所导致的误差，本文认为：当测量心率值在真实心率值±3以内时，测量误差基本不影响对人体状态的判断，可定义为准确；当测量心率值在真实心率值±6以内时，测量误差会对人体状态的判断产生一定的干扰，但仍能反映被测人身体状态的大体状况，可定义为基本准确；当测量心率值在真实心率值±6以外时，测量误差较大，心率测量值已不能反映被测者的真实身体状态，可定义为不准确。比如，被测者真实心率为66跳时，若测量结果介于63～69之间，即测量结果与真实心率间的差距不超过3，则认为本次测量准确；若测量结果介于60～63或69～72之间，即测量结果与真实心率间的差距介于3～6之间，则认为本次测量结果基本准确；若测量误差大于6，则认为本次测量不准确。

基于以上指标，本文统计了70组采集时间为5秒的视频数据的正弦波拟合法与补零傅里叶变换法的准确度对比。视频的帧率为50帧/秒，经小波分解重构后，最终心率时间序列有127个数据。为提高傅里叶算法的精度，在傅里叶变换前对序列补充了4953个零，此时傅里叶变换的精度为0.3跳/分钟。正弦波拟合法的测量结果如表2所示。

表2 时长5秒的正弦波拟合心率测量结果统计表

均误差1.942准确度个数占比（%）准确4767.143较准确2028.571不准确

3

4.286

补零傅里叶变换法的心率测量结果如表3所示。

表3 时长5秒的补零傅里叶变换心率测量结果统计表

均误差2.232准确度个数占比（%）准确4361.429较准确2231.429不准确

5

7.143

可以看出，当视频采集时间较短、帧数较少时，正弦波拟合法的准

确度比传统的补零傅里叶变换法准确度更高，一定程度上解决了传统的傅里叶变换法视频采集时间过长、测量准确度和分辨率矛盾的问题。

4 总结和展望

针对传统的傅里叶变换求取心率法占用待测者时间长、给待测者带来不方便、测量准确率和分辨率直接受制于心率时间序列的数据量的问题，本文提出了一种使用拟合回归来测量心率的方法，当视频图像采集时间较短时，此方法在测量准确率和分辨率上，都比基于傅里叶变换的心率测量方法更具优势。

本文提出的基于正弦波拟合的心率测量方法虽然提高了测量时间较短时的测量准确率和分辨率，但是仍然存在一定问题，未来可以在以下方面进行改进：

（1）模最大值均衡化方法有待改善。为使序列波形逼近正弦波，本文使用了归一化后维持符号不变开方的方法对序列进行了处理。但归一化后维持符号不变开方的方法较为简略，没有对比开方、不开方、其他方法等不同处理方法的逼近效果。

（2）ROI选择需要进一步考量。前人工作显示，在不进行欧拉影像放大时，脸颊是比鼻子更好的ROI区域。但本文出于脸颊有部分被传输线遮挡住，可能影响欧拉放大效果考虑，选择了鼻子作为ROI区域进行心率测量。

5 声明和致谢

本文使用的一部分数据来自DEAP库，该库是由国外团队采集的、旨在研究情绪分析的数据集。本文作者已向该团队提交了使用申请，并得到了许可。在此，向Georgios Zoumpourlis及其团队表 达敬意和感谢。

作者简介：

王一丁，北方工业大学教授。

王梦源，北方工业大学硕士研究生在读。

• 105 •