公开(公告)号：CN118411652B

公开(公告)日：2025-04-25

申请号：CN202410655427.9

申请日：2024-05-24

Applicant: 南京师范大学

Inventor： 陈燚 ,  袁浩淼 ,  邢武略 ,  周俊生 ,  顾彦慧

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/28 ,  G06V40/20 ,  G06V10/82 ,  G06V20/70 ,  G06T7/254 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统，首先对视频帧预处理，通过帧差分获取运动区域，利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征，再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征，在解码器中与运动目标语义特征进行融合，构建实验步骤与对应目标的联系，实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征，有效区分不同步骤，实现了对实验步骤的准确判断，具有广阔的应用前景。

公开(公告)号：CN118411652A

公开(公告)日：2024-07-30

申请号：CN202410655427.9

申请日：2024-05-24

Applicant: 南京师范大学

Inventor： 陈燚 ,  袁浩淼 ,  邢武略 ,  周俊生 ,  顾彦慧

IPC: G06V20/40 ,  G06V10/25 ,  G06V10/62 ,  G06V10/80 ,  G06V10/764 ,  G06V10/28 ,  G06V40/20 ,  G06V10/82 ,  G06V20/70 ,  G06T7/254 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种基于运动目标语义增强的多模态中学实验步骤检测方法及系统，首先对视频帧预处理，通过帧差分获取运动区域，利用目标检测技术获取运动目标并使用BERT模型提取语义时序特征，再在编码器中对视频特征进行时序依赖建模获取步骤级别的视觉时序特征，在解码器中与运动目标语义特征进行融合，构建实验步骤与对应目标的联系，实现对中学实验视频中实验步骤的准确检测。本专利方法能够更有效地捕捉实验步骤的独特运动特征，有效区分不同步骤，实现了对实验步骤的准确判断，具有广阔的应用前景。

公开(公告)号：CN115169285A

公开(公告)日：2022-10-11

申请号：CN202210845805.0

申请日：2022-07-19

Applicant: 南京师范大学

Inventor： 周俊生 ,  孙浩桐 ,  谢建业 ,  陈昱衡 ,  钱惠勋

IPC: G06F40/117 ,  G06F40/126 ,  G06F40/211 ,  G06F40/30

Abstract: 本发明公开了一种基于图解析的事件抽取方法及系统，通过将输入句子中包含的多个事件视为整体，将多个事件链接起来构成事件图，实现将对输入句子的抽取事件问题转化为一个对输入句子分析生成事件图的图解析方法。该方法不再依赖于事件触发词，明确地对多个事件之间的关联性进行建模，解决论元共享现象，缓解长尾问题；同时，基于Transformer的生成模型设计了有效的解码算法，提高事件抽取的性能；此外，采用预训练的序列到序列模型，使得数据稀疏性问题得到改善；在基于事件图的生成模型中利用依存句法信息，使用图注意力神经网络对依存信息编码，将依存图编码层和句子编码层的双重注意力机制进行融合提升事件抽取的性能。