公开(公告)号：CN119380241A

公开(公告)日：2025-01-28

申请号：CN202411491511.8

申请日：2024-10-24

Applicant: 中电鸿信信息科技有限公司

Inventor： 周洪汉 ,  罗进 ,  王亚东 ,  高丽华 ,  李国乐 ,  聂彦岭 ,  王赛君 ,  单颖 ,  卞相权

IPC: G06V20/40 ,  G06V10/42 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/08

Abstract: 本发明公开了一种基于全局和局部变化的视频理解方法、系统、设备及介质，在视频的不同帧图片上构建含有目标物的图表示；通过图神经网络对视频帧含有目标物的图表示进行训练，获得相邻图表示之间的动作转移信息；将训练视频的所有帧图片的动作转移信息表示拼接为一个统一的动作变化矩阵；将动作变化矩阵输入到Transformer模型中，提取视频帧图片不同隐式表示之间的变化关系。本发明利用整个视频帧图片上的目标物体构建相应的图表示；利用图神经网络训练获取单个帧图片上的动作变化趋势之后，通过Transformer模型获取不同帧图片上的动作关系，专注于动作变化最明显的时刻，提升视频理解的准确率。