-
公开(公告)号:CN119478754B
公开(公告)日:2025-04-29
申请号:CN202410655431.5
申请日:2024-05-24
Applicant: 南京师范大学
IPC: G06V20/40 , G06V10/62 , G06V10/764 , G06V10/80 , G06V10/82 , G06V40/20 , G06T7/254 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于差分特征增强的多视角中学实验步骤检测方法及系统,首先对视频进行预处理,提取原始和差分视频帧片段,通过特征提取器获得视觉时序特征与差分运动特征,输入编码器学习时空依赖关系,并利用交叉注意力机制进行特征融合,最终将融合后的多视角视觉时序特征通过解码器输出分类结果。本专利能够更准确地捕捉实验步骤的变化和动作特征,提高了分类模型的精度和鲁棒性,能够有效解决人工检测中学实验步骤会耗费大量人力资源、已有方法未充分探索时序关系、效率低等问题,提高了检测精度,因此具有较高的应用价值和应用前景。
-
公开(公告)号:CN119478754A
公开(公告)日:2025-02-18
申请号:CN202410655431.5
申请日:2024-05-24
Applicant: 南京师范大学
IPC: G06V20/40 , G06V10/62 , G06V10/764 , G06V10/80 , G06V10/82 , G06V40/20 , G06T7/254 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于差分特征增强的多视角中学实验步骤检测方法及系统,首先对视频进行预处理,提取原始和差分视频帧片段,通过特征提取器获得视觉时序特征与差分运动特征,输入编码器学习时空依赖关系,并利用交叉注意力机制进行特征融合,最终将融合后的多视角视觉时序特征通过解码器输出分类结果。本专利能够更准确地捕捉实验步骤的变化和动作特征,提高了分类模型的精度和鲁棒性,能够有效解决人工检测中学实验步骤会耗费大量人力资源、已有方法未充分探索时序关系、效率低等问题,提高了检测精度,因此具有较高的应用价值和应用前景。
-
公开(公告)号:CN118411652B
公开(公告)日:2025-04-25
申请号:CN202410655427.9
申请日:2024-05-24
Applicant: 南京师范大学
IPC: G06V20/40 , G06V10/25 , G06V10/62 , G06V10/80 , G06V10/764 , G06V10/28 , G06V40/20 , G06V10/82 , G06V20/70 , G06T7/254 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统,首先对视频帧预处理,通过帧差分获取运动区域,利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征,再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征,在解码器中与运动目标语义特征进行融合,构建实验步骤与对应目标的联系,实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征,有效区分不同步骤,实现了对实验步骤的准确判断,具有广阔的应用前景。
-
公开(公告)号:CN118411652A
公开(公告)日:2024-07-30
申请号:CN202410655427.9
申请日:2024-05-24
Applicant: 南京师范大学
IPC: G06V20/40 , G06V10/25 , G06V10/62 , G06V10/80 , G06V10/764 , G06V10/28 , G06V40/20 , G06V10/82 , G06V20/70 , G06T7/254 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统,首先对视频帧预处理,通过帧差分获取运动区域,利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征,再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征,在解码器中与运动目标语义特征进行融合,构建实验步骤与对应目标的联系,实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征,有效区分不同步骤,实现了对实验步骤的准确判断,具有广阔的应用前景。
-
-
-