公开(公告)号：CN117373085A

公开(公告)日：2024-01-09

申请号：CN202311344530.3

申请日：2023-10-17

Applicant: 南京邮电大学

Inventor： 孙宁 ,  易磊 ,  何佩鲜

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提出了一种基于时空自注意力和深度神经网络的非接触心率检测方法，该方法包括以下步骤：从远程生理测量的视频数据库中选取多个视频，通过使用人脸关键点检测，对每帧图像进行裁剪和人脸对齐操作，将裁剪过后的视频按相应的比例划分为训练集和测试集；将前述步骤中划分好的训练集进行帧间差异提取，留下人脸关键信息，去除环境背景等无用信息；构建结合时空自注意力机制的端到端可训练的深度神经网络模型；将处理后的训练集送入到深度神经网络中进行训练；在利用新的视频进行非接触心率测量时，将经过前述步骤得到的视频序列送入网络模型中，得到该视频对应的心率信号值。本发明的方法和系统提高了非接触测量心率的准确性和有效性。

公开(公告)号：CN119541020A

公开(公告)日：2025-02-28

申请号：CN202411605783.6

申请日：2024-11-12

Applicant: 南京邮电大学

Inventor： 孙宁 ,  何佩鲜 ,  刘佶鑫

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/56 ,  G06N3/045 ,  G06N3/0895 ,  G16H40/67 ,  G16H50/30

Abstract: 本发明属于图像处理技术领域，具体涉及一种基于颜色放大和时空自注意力的远程心率测量方法；所述方法包括以下步骤：步骤1、通过人脸关键点检测技术对视频每帧图像进行处理，实现裁剪和人脸对齐操作，然后将裁剪对齐后的视频序列分成训练集和测试集步骤2、构建视频颜色放大、时空自注意力特征提取和对比学习相结合的端到端可训练的心率检测神经网络模型；步骤3、将训练集输入步骤2中心率检测神经网络模型进行训练，并利用测试集进行验证；步骤4、利用训练后的心率检测神经网络模型对新视频进行远程心率测量；本发明提出的模型，解决了在远程心率测量中如何准确建模面部颜色细微变化的挑战，提高了测量的准确性和有效性。