公开(公告)号：CN118585964B

公开(公告)日：2024-10-18

申请号：CN202411074751.8

申请日：2024-08-07

Applicant: 南京信息工程大学

Inventor： 孙煊哲 ,  于莉

IPC: G06F18/25 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统，涉及视频显著性预测技术领域。本发明包括：接收视频及音频数据，对视频数据进行预处理，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制，根据音视频特征的语义相关性动态调整融合策略，有效避免了背景音频等无关音频对显著性预测的干扰，提高了预测的精度。

公开(公告)号：CN118585964A

公开(公告)日：2024-09-03

申请号：CN202411074751.8

申请日：2024-08-07

Applicant: 南京信息工程大学

Inventor： 孙煊哲 ,  于莉

IPC: G06F18/25 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统，涉及视频显著性预测技术领域。本发明包括：接收视频及音频数据，对视频数据进行预处理，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制，根据音视频特征的语义相关性动态调整融合策略，有效避免了背景音频等无关音频对显著性预测的干扰，提高了预测的精度。