公开(公告)号：CN118351565A

公开(公告)日：2024-07-16

申请号：CN202410132281.X

申请日：2024-01-30

申请人： 北京邮电大学

发明人： 孙丹丹 ,  高建龙 ,  冒明宇 ,  刘俊江 ,  白江涛 ,  王思齐 ,  周铭锐 ,  李洪达 ,  范馨月

IPC分类号： G06V40/10 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/096

摘要： 本发明公开了一种关键帧选取的轻量化人体姿态估计方法，属于计算机视觉领域；具体是：首先，选择长度为T的视频序列预处理后，输入教师网络模型的特征编码器ResNet‑101进行时空间维度的特征提取，下采样处理后，输入时空嵌入模块处理每一帧，并通过全连接层和Sigmoid激活函数，得到长度为T的数据序列；依次将每个数据分别与设定的阈值#imgabs0#比较，选出关键帧构建选择矩阵，结合动力学字典，使用人体姿态插值模块恢复整个姿态序列，至此对教师网络模型训练完毕；最后，将将教师网络模型的输出结果作为学生网络模型的输出拟合目标，对学生网络进行训练，对卷积层中冗余的参数进行剪枝后微调参数，弥补误差。本发明保持较高准确性的同时减少了计算复杂度和模型大小。

公开(公告)号：CN117423136A

公开(公告)日：2024-01-19

申请号：CN202311538713.9

申请日：2023-11-17

申请人： 北京邮电大学

发明人： 孙丹丹 ,  王思齐 ,  周铭锐 ,  高建龙 ,  冒明宇 ,  白江涛 ,  刘俊江 ,  范馨月 ,  李洪达

IPC分类号： G06V40/10 ,  G06V40/20 ,  G06V10/80 ,  G06V10/74 ,  G06V10/44 ,  G06N3/0464

摘要： 本发明公开了一种跨视图特征融合的人体姿态估计方法，属于计算机视觉领域。首先构建跨视图随机组合特征融合模型，并将n张跨视图角度的图像输入模型中，通过视图组合策略模块得到n组源视图及其参考视图的组合。然后将每组视图对分别进行特征提取，得到相应的低分辨率的小尺寸特征图，通过上采样模块对低分辨率的小尺寸特征图进行微分亚像素卷积上采样，得到相应的高分辨率的大尺寸特征图。最后特征融合模块对每组源视图及其参考视图的高分辨率特征图进行特征融合，得到融合热图，估计二维姿态，并使用2D‑3D方法获取每组视图对的三维人体姿态估计。本发明有效地利用不同视图之间的关节信息，增强了泛化性，提高姿态估计的准确性。

公开(公告)号：CN118015703A

公开(公告)日：2024-05-10

申请号：CN202410163123.0

申请日：2024-02-05

申请人： 北京邮电大学

发明人： 孙丹丹 ,  白江涛 ,  高建龙 ,  冒明宇 ,  刘俊江 ,  王思齐 ,  周铭锐 ,  李洪达 ,  范馨月

IPC分类号： G06V40/20 ,  G06V10/25 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/09

摘要： 本发明公开了一种基于双模态相机驱动的人体动作检测方法，属于计算机视觉领域，具体是：首先，分别采用事件相机和普通相机，采集相同时间窗口对应的事件序列和普通视频；针对单个时间窗口内，将事件序列转换堆叠成普通相机对应的同步图片帧；对于同一个时间窗口内视频模态和事件模态对应的同步图片，通过深度神经网络提取各自的初级特征；然后，通过自适应特征学习模块进行空间的对齐增强；使用实例检测器在从普通相机捕获的图片帧中识别并定位感兴趣的实例，生成检测框从而确定每个实例在图片中的位置和范围。最后，将各实例通过多阶段的密集串行结构进行交互建模，并通过融合不同时间窗口的上下文信息来增强记忆特征的生成，最终得到用于分类的动作特征。本发明提高了现有的人体动作识别与定位在各种复杂场景下的鲁邦性和准确率。