基于知识蒸馏的视频多线索社交关系抽取方法及装置

    公开(公告)号:CN114972841A

    公开(公告)日:2022-08-30

    申请号:CN202210426677.6

    申请日:2022-04-21

    Inventor: 曹晨雨 吴斌 王柏

    Abstract: 本发明提出一种基于知识蒸馏的视频多线索社交关系抽取方法及装置,其中方法包括,获取待训练无约束场景视频的视频帧序列;将视频帧序列通过预先训练好的教师模型进行预处理,提取软目标;将视频帧序列输入到学生模型中,获取场景特征和语义特征,同时通过余弦损失函数进行同步训练以拉近场景特征和语义特征与软目标的距离;其中,所述学生模型包括场景识别模型和语义分析模型;将场景特征和语义特征通过多层注意力网络以及卷积层和池化层进行特征提取并进行融合,将融合后的特征、场景特征、语义特征进行分段并作为三类节点进行构图;将构图后的节点特征通过图卷积网络作聚合,并经过分类器作分类,生成视频多线索社交关系提取框架。

Patent Agency Ranking