公开(公告)号：CN118397705A

公开(公告)日：2024-07-26

申请号：CN202410575605.7

申请日：2024-05-10

Applicant: 浙江工商大学

Inventor： 刘振广 ,  汪志刚 ,  吴哲琦 ,  徐卓越 ,  王勋

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/10 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制的视频人体姿态传播方法，设计了基于纯注意力机制的端到端的编码器‑解码器架构，编码器包括骨干网络、时空全局融合模块，解码器包含补丁匹配校正模块；时空全局融合模块利用自注意力机制有效地将多个视频帧的特征进行全局空间融合，解决了单帧图像方法面临的时序信息缺失问题，补丁匹配校正模块合并多帧姿态热图并且根据编码器输出的特征对姿态热图进行补丁匹配局部空间校正，实现对粗糙热图中的姿态更精细化的调整。本发明提升了复杂动作和遮挡情况下的姿态估计精度，解决了标注更稀疏情况下的姿态传播退化问题，降低了对密集标注的依赖，提高了视频姿态标注的效率，探寻出了半自动化视频姿态标注的可行性。