危险行为识别方法、系统、存储介质及计算机设备

    公开(公告)号:CN116824495B

    公开(公告)日:2024-10-11

    申请号:CN202310756542.0

    申请日:2023-06-26

    Abstract: 本发明提出一种危险行为识别方法、系统、存储介质及计算机设备,该方法包括:视频信息进行视频特征提取和音频特征提取;对每个样本中的视频特征和音频特征均依次进行编码和投影,得到投影视频特征和投影音频特征,并根据投影视频特征和投影音频特征计算得到关于视频模态和音频模态的总损失值,并根据总损失值进行迭代训练;根据对比学习模型得到关于投影视频特征和投影音频特征的融合特征,并将至少一段视频信息对应的融合特征输入到N个基分类器中进行训练,得到多分类器加权投票模型,行为类型结果包括有危险和无危险。本发明能够更全面、准确的信息去描述行为,并提高危险预测的准确性,进而实现对群体危险行为的识别预测。

    一种基于关系知识图的目标交互关系识别方法

    公开(公告)号:CN116363566B

    公开(公告)日:2023-10-17

    申请号:CN202310643957.7

    申请日:2023-06-02

    Abstract: 本发明公开了一种基于关系知识图的目标交互关系识别方法,所述方法包括以下步骤:S1、构建用于判断多人交互场景中目标是否存在交互行为的交互估计框架;S2、基于所述交互估计框架提取输入训练图像中的特征信息,进而构建关系知识图;S3、提取待测试视频图像中目标的动作特征和交互目标位置特征以及背景物体特征,进而构建交互场景图,然后基于所构建的关系知识图和交互场景图对待测试视频图像中的多人交互关系进行识别判断。本发明通过提取输入视频图像中信息逻辑关系并构建关系知识图,并将关系知识图融入到交互关系的识别中,进而不同场景,不同物品,不同动作之间联系起来,有效增强了输入视频图像中交互关系的识别准确性。

Patent Agency Ranking