公开(公告)号：CN118411652B

公开(公告)日：2025-04-25

申请号：CN202410655427.9

申请日：2024-05-24

Applicant: 南京师范大学

Inventor： 陈燚 ,  袁浩淼 ,  邢武略 ,  周俊生 ,  顾彦慧

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/28 ,  G06V40/20 ,  G06V10/82 ,  G06V20/70 ,  G06T7/254 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统，首先对视频帧预处理，通过帧差分获取运动区域，利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征，再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征，在解码器中与运动目标语义特征进行融合，构建实验步骤与对应目标的联系，实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征，有效区分不同步骤，实现了对实验步骤的准确判断，具有广阔的应用前景。

公开(公告)号：CN118411652A

公开(公告)日：2024-07-30

申请号：CN202410655427.9

申请日：2024-05-24

Applicant: 南京师范大学

Inventor： 陈燚 ,  袁浩淼 ,  邢武略 ,  周俊生 ,  顾彦慧

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/28 ,  G06V40/20 ,  G06V10/82 ,  G06V20/70 ,  G06T7/254 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统，首先对视频帧预处理，通过帧差分获取运动区域，利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征，再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征，在解码器中与运动目标语义特征进行融合，构建实验步骤与对应目标的联系，实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征，有效区分不同步骤，实现了对实验步骤的准确判断，具有广阔的应用前景。