基于视频放大与盲源分离的非接触式心率检测

基于视频放大与盲源分离的非接触式心率检测①

戴　阳, 郑婷婷, 杨　雪

(长安大学信息工程学院, 西安 710064)

通讯作者: 戴　阳摘　要: 非接触式心率(HR )检测可以通过远程光电容积描记术(rPPG)实现, 引起越来越多的关注. 但在实际应用中, rPPG 信号非常细微, 极易被噪声淹没, 从而导致现有的基于rPPG 的心率检测方法很难准确地估计心率. 针对以上问题, 本文提出了一种增强rPPG 信号、抑制噪声的非接触式心率

检测方法. 在这种方法中, 首先通过欧拉颜放大技术对正常HR 分布频带上的度信息进行放大, 避免rPPG 信号过小被噪声淹没; 接着使用人脸检测与跟踪技术选定合适的感兴趣皮肤区域; 然后在感兴趣区域内提取放大后的度信息, 使用盲源分离方法和相关性分析分离出rPPG 信号; 最后对rPPG 信号进行时域滤波与功率谱密度分析, 估计出HR 值. 经多组实验验证, 本文所提方法相比于以前方法具有更高的HR 估计精度.

关键词: 远程光电容积描记术; 欧拉颜放大技术; 盲源分离; 相关性分析; 功率谱密度分析

引用格式: 戴阳，郑婷婷，杨雪.基于视频放大与盲源分离的非接触式心率检测.计算机系统应用,2021,30(1):228–234. /1003-3254/7739.html

Non-Contact Heart Rate Detection Based on Video Amplification and Blind Source Separation

DAI Yang, ZHENG TING-Ting, YANG Xue

(School of Information Engineering, Chang’an University, Xi’an 710064, China)

Abstract : Non-contact Heart Rate (HR ) detection can be achieved by remote PhotoPlethysmoGraphy (rPPG), which has attracted more and more attention. However, in practical applications, the rPPG signal is very subtle and easily overwhelmed by noise, which makes it difficult

to accurately estimate the HR using existing rPPG-based HR detection methods. In view of the above problems, this paper proposes a non-contact heart rate detection method that enhances rPPG signal and suppresses noise. In this method, the chromaticity information in the normal HR distribution band is first amplified by Euler color amplification technology to avoid the rPPG signal being too small and being overwhelmed by noise; then use face detection and tracking technology to select the appropriate skin of interest Region; then extract the amplified chrominance information in the region of interest, and use the blind source separation method and correlation analysis to separate the rPPG signal; finally, the rPPG signal is time-domain filtered and power spectral density analysis to estimate the HR value. Multiple experiments show that the proposed method has higher HR estimation accuracy than previous methods.

确的拼音

Key words : remote PhotoPlethysmoGraphy (rPPG); Euler color magnification technique; blind source separation; correlation analysis; power spectral density analysis

垃圾短信举报

1 引言

心率(HR )是人体最重要也是最基本的一项生理

指标, 在一定程度上能够反映出人的健康状况、压力水平和情绪波动[1]. 连续的心率检测对训练辅助[2],

健

计算机系统应用 ISSN 1003-3254, CODEN CSAOBN

Tel: +86-10-62661041

① 收稿时间: 2020-05-27; 修改时间: 2020-06-19; 采用时间: 2020-06-28; csa 在线出版时间: 2020-12-31

228

康监测, 驾驶员状态评估[3]和情感状态评估等具有重要作用. 但在现实生活中, 往往使用传感器如透射式手指脉搏血氧仪测量心率, 这种接触式测量限制人类活动, 很难在特定情况之外的日常生活中使用[4]. 而且, 在对于某些特殊体, 如皮肤烧伤病人, 好动症患者, 以及新生婴幼儿等, 很难使用接触式设备进行长时间监测. 因此, 非接触式HR测量的研究具有重要意义.

相比于传统的接触式心率测量方法, 基于rPPG的非接触式HR测量方法更加灵活, 无需测试者合作即可

应用. 在rPPG中, 只需数码相机和环境光即可远程访问心脏搏动信息[5]. 如图1所示, 环境光用作光源, 而数码相机则用作光电转换器. rPPG的原理基于以下事实: 血液中的血红蛋白对光具有吸收作用, 并且吸收量与血红蛋白浓度成正比. 由于血红蛋白浓度随血容量脉冲(BVP)呈准周期性变化, 所以血液吸收的光量会随心动周期在皮肤表面下被BVP周期性调节, 表现为皮肤的轻微颜变化. 尽管由BVP引起的皮肤轻微的颜变化对于人眼是不可见的, 但是可以使用数码相机对其进行检测[6].

相机

漫反射

表皮

真皮

皮下层

图1 rPPG实现原理

近些年, 一系列基于rPPG的非接触式心率检测方法开始被研究提出. Verkruysse等人[5]首次证明了使用消费级相机远程测量心率的可能性. 在这一研究中, 通过选择视频中人脸前额作为ROI, 并通过计算R

OI内所有像素的平均值来计算每帧中的原始RGB信号, 并根据血红蛋白对绿光的吸收比对红光和蓝光的吸收更好的事实, 表明G通道相比于R通道与B通道对血液脉冲信号有更好的反应, 但对噪声因素没有研究. Pho 等人[7,8]利用盲源分离的方法, 提取rPPG信号, 使用独立分分析(ICA)对RGB三通道信号进行盲源分离, 选择第二个源信号作为rPPG信号进行心率检测. 虽然该方法抑制了噪声的干扰, 但ICA盲源分离出的源信号是随机排序, 无法确保第二个源信号最能反应血液脉冲信号. Wu等人[9]提出了一种欧拉视频放大(EVM)框架, 利用空间分解和时间滤波来提取血液脉冲信号信号. 这种技术可以放大由BVP引起的皮肤轻微的颜变化. 因此, 该方法可用于使该现象对肉眼可见. 但由于放大颜信号的同时, 对频带内的噪声也进行了放大, 所以使用该方法提取rPPG信号进行心率估计仍具有挑战. Wang等人[10]提出一种“平面-正交-皮肤”(POS), 该方法对检测到的人脸区域进行皮肤分割, 分离出皮肤和非皮肤像素, 将皮肤区域作为ROI，在时间归一化RGB空间中定义一个与肤正交的平面来提取用于心率检测的rPPG信号, 但没考虑血液脉冲信号被噪声淹没的情况.

本文受以上研究启发, 提出一种基于欧拉视频放大和盲源分离的心率检测算法, 通过欧拉颜放大技术放大正常心率范围内的度信息, 防止因噪声和图像传感器限制等原因淹没rPPG信号, 引入独立成分分析从度信息中盲源分离出源信号, 抑制头部微小运动噪声的干扰, 考虑到源信号的随机性, 本文提出一种相关性分析方法, 选出最能反应BVP信号的源信号作为rPPG信号, 通过时域滤波和功率谱密度分析估计出心率, 并通过多组实验验证了本文方法的性能.

2 心率检测模型

本文提出的非接触式HR测量算法主要包括4个主要步骤, 具体框架如图2所示, 首先对输入视频进行欧拉视频放大, 接着对放大后的视频进行ROI选取与跟踪, 然后在ROI内提取源信号, 最后对选出的源信号分析, 估计出HR值. 每个步骤的细节在下面的小节中进行了说明.

图2 心率检测框架图

2.1 欧拉视频放大

为了克服人类视觉系统的局限性, 揭示视频中难以, 或不可能用肉眼看到的时间变化, 提出了欧拉视频放大技术. 该框架是2012年由Wu等人首先设计[9], 其基本的方法是在任意空间位置的时间尺度上, 观察一

2021 年第 30 卷第 1 期计算机系统应用

229

系列颜值, 比如像素, 然后在某一特定频带上, 放大颜值的变化.

欧拉视频放大技术的处理框架如图3所示, 首先运用图像金字塔, 将输入的人脸视频分解为不同的空间子带; 然后对每个空间频带进行时间滤波处理, 滤出感兴趣频带; 接着将提取的带通信号乘以放大系数ɑ，其中ɑ的值由不同的应用指定, 它的边界受视频运动步长δ和图像空间结构波长λ限制, 如式(1)所示, 并且在空间频带上, 超出确定的空间截止频率时, 衰减ɑ值；最后将放大的信号添加到原始金字塔图像中, 并重构结果视频.

空间分解

时间滤波

α重构图3 欧拉视频放大技术的处理框架

每次心脏跳动引起皮肤颜变化非常细微[11]

团结就是力量歌词, 尽

管可以从人脸视频数据中分析出来, 但这种变化极易被噪声淹没, 同时还会受图像传感器的限制. 因此, 本文使用欧拉颜放大技术, 对心跳引起的细微颜变化信号进行放大. 为了将图像的亮度信息和度

信息分离, 将视频的彩空间由RGB 空间转换到YIQ 空间, 转换关系如下所示:

R +B R −B R −B

其中, Y 表示亮度信息, I 、Q 表示度信息, 通过高斯金字塔对每帧视频进行空间分解, 得到多个尺度的子带集合, 利用理想带通滤波器对每一个子带进行滤波，通带频率为[0.7, 4] Hz, 即正常心率范围, 然后将滤波后子带的I 、Q 通道的度信息放大100倍, Y 通道的亮度信息衰减为0. 如图4(a)、图4(b)所示, 可以明显看出放大前后, 人脸皮肤的颜变化. 当血液脉冲到达某一点时, 该点的皮肤颜会变深, 而当血液脉冲远离时, 该点的颜会变浅

(a)血液脉冲到达

(b)血液脉冲远离

图4 视频中两帧放大前后的颜变化

2.2 ROI 选取与跟踪

为了解决视频图像中的背景噪声问题, 本文对采集到的视频进行人脸检测. 首先以视频的第一帧图像作为参考图像, 使用Viola-Jones 人脸检测器[12]框出人

脸区域, 接着使用判别响应图拟合(Discriminative Response Map Fitting, DRMF)方法[13], 识别矩形框中面部特征点. 与脸部其他皮肤区域相比, 脸颊的皮肤可以提供更高信噪比的

rPPG 信号[14], 因此, 本文选定脸颊区域作为ROI. 如图5所示, 黄矩形框表示识别到的人脸区域, “+”表示面部特征点, 蓝区域为ROI.

图5 人脸区域

考虑到视频采集时, 人脸会发生微小的刚性运动，为了抑制刚性运动的干扰, 获得更加平滑的原始信号.

本文使用Kanade-Lucas-Tomasi (KLT)[15]对上述特征点进行跟踪, 首先计算特征点在相邻帧之间位移变化，得到转移矩阵, 然后通过矩阵变换准确地获取人脸矩形框, 具体如式(3)所示:

P i =[P 1(i ),P 2(i ),···,P k (i )]F i =[f 1(i ),f 2(i ),f 3(i ),f 4(i )]其中, 为第i 帧特征点的位置, k 为特征点的个数; 为人

计算机系统应用笔记本电脑没有声音怎么办

2021 年第 30 卷第 1 期

230

f 1(i )∼f 2(i )脸边框位置, 表示人脸边框的4个顶点坐标;A 表示转移矩阵.2.3 提取源信号

2.3.1 提取I 、Q 度信息

I (x ,y ,t )选取ROI 之后, 在时间序列上, 提取反应BVP 的度信息. 考虑到2.1节已对度信息进行了放大, 所以本文将放大后的度信息, 即I 与Q 通道上的信息，用作rPPG 分析的原始信号. 如文献[12]所述, 空间平

均有助于减少传感器噪声, 改善rPPG 信号的SNR. 定义为第t 帧I 通道(x ,y )处的值, 则t 时刻I 通道ROI 内的空间平均如式(4)所示:

|ROI |I (t )={I (1),I (2),···,I (n )

}

其中, 表示ROI 内像素点个数. 空间平均后, 在ROI 内,

I 、Q 每个通道上都得到一条如的时间序列信号. 同时为了滤除时间序列信号的趋势成份以及减少量纲的影响, 本文对原始信号进行去趋势化[16]和标准化处理, 如图6(a)、图 6(b)所示.

图6 原始I 、Q 信号

2.3.2 盲源分离

I (t )Q (t )一方面考虑到人脸自身的微小运动和相机振动等因素, 原始信号、混合着一定的噪声. 从图6可以看出, 在视频的初始和结束部分, 由于人脸发生轻微晃动, 导致原始信号发生大幅度抖动. 因此, 需要对原

s 1(t )s 2(t )始信号进一步处理, 提取干净的rPPG 信号. 另一方面，由于缺乏心率信号相关的先验知识, 很难使用传统的方法分离出反应BVP 信号的rPPG 信号, 所以本文采用盲源分离的方法, 通过ICA 分离出源信号[17]、

, 如图7(a)、图7(b)所示.

图7 盲源分离出的独立源信号

2.3.3 独立成分选取

Q (t )s 1(t )s 2(t )Q (t )针对ICA 分离出的源信号为随机排序, 无法确定哪个源信号更能反应BVP 信号这一问题, 本文提出相关性分析方法来选择源信号. 由于血红蛋白对波长在540~570 nm 之间的黄绿光吸收更多[18], 同时黄绿光处于Q 通道颜范围内, 所以Q 通道的信号更能反应BVP 信号. 因而可知, 可以用作为参考信号, 在源信号、中选出与最相关的作为反应心率信息的rPPG 信号.

本文使用皮尔逊相关系数来评价两个变量的线性

基于视频放大与盲源分离的非接触式心率检测

发布评论取消回复

最近发表

热门文章

标签列表