公开(公告)号：CN119169524A

公开(公告)日：2024-12-20

申请号：CN202411201034.7

申请日：2024-08-29

Applicant: 北京交通大学

Inventor： 金一 ,  杨佳琦 ,  苏楦雯 ,  李浥东 ,  王涛 ,  王伟 ,  段莉

IPC: G06V20/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06V10/44 ,  G10L25/30

Abstract: 本发明提供一种基于跨模态融合的异常行为检测方法及系统，属于异常行为检测技术领域，利用预先训练好的异常行为检测模型对获取的视频数据进行处理，得到异常行为检测结果。异常行为检测模型包括视觉特征提取网络、音频特征提取网络、跨模态融合网络、双曲图卷积网络以及行为预测网络。本发明引入了新的跨模态融合算法，在时间维度上实现了音频特征与视觉特征的融合，利用音频信息对视觉维度模糊的事件做进一步区分；设计基于双曲图卷积的两个分支，分别处理特征的相似度和时间关联关系，并在双曲空间中提高特征的区分度，提升了异常行为检测的准确度。