公开(公告)号：CN118427735A

公开(公告)日：2024-08-02

申请号：CN202410505856.8

申请日：2024-04-25

Applicant: 中国矿业大学

Inventor： 袁冠 ,  刘肖 ,  张艳梅 ,  闫秋艳 ,  朱子青 ,  代伟

IPC: G06F18/2431 ,  G06F18/2415 ,  G06F18/25 ,  G06F18/213 ,  G06V40/20 ,  G06V10/40 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895

Abstract: 本发明提供了一种课堂动作识别方法、装置、计算机设备和储存介质。该方法包括：首先采集人体交互动作多模态数据。通过构建共享编码器和差异编码器将多模态动作数据分别映射到模态关联空间和模态特有空间。在模态关联特征空间中，利用同一动作对应的不同模态数据特征构建成正样本对，利用对比学习缩小正样本对之间的语义距离。在模态特有特征空间中，使用图卷积神经网络和门控循环单元分别提取视觉骨架数据特征、传感器感知数据特征，并计算各模态动作识别的概率分布，结合KL散度减小概率分布的差异性。通过构建正交损失减少共享特征和差异特征之间的冗余信息，并实现不同模态特征之间的自适应融合，进行交互动作识别。

公开(公告)号：CN117933376A

公开(公告)日：2024-04-26

申请号：CN202311759438.3

申请日：2023-12-20

Applicant: 中国矿业大学

Inventor： 朱子青 ,  袁冠

IPC: G06N5/022 ,  G06N3/0455 ,  G06N3/042

Abstract: 本发明公开了一种基于无监督学习的异质有向图节点表示方法，该方法包括：首先，对异质有向网络图数据进行处理，抽取节点属性特征，节点拓扑结构特征；其次，基于抽取的图数据特征，构建出向拓扑视图、入向拓扑视图以及属性关系视图；再次，基于自编码器的模型框架，建立图神经网络模型以处理各视图；然后，针对构建的神经网络模型构造损失函数并进行模型优化，获得模型的优化参数；最后，根据模型中间核心层计算的输出向量，获得异质有向图的各节点特征表示。本发明方法兼顾了异质有向图的拓扑结构以及节点属性特征，能够从深层次语义空间挖掘异质信息的内在一致性语义信息，获得融合了不同异质信息的节点统一特征表示。

公开(公告)号：CN119669710A

公开(公告)日：2025-03-21

申请号：CN202411700271.8

申请日：2024-11-26

Applicant: 中国矿业大学

Inventor： 朱子青 ,  张艳梅 ,  袁冠

IPC: G06F18/21 ,  G06F18/213 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明属于跨模态语义对齐技术领域，公开了一种面向课堂教学引导的多模态语义对齐方法。本发明面向教学过程中的多模态数据进行语义建模，通过中介模态传递语义，以跨模态对齐数据语义，本发明利用教学过程中规模大、更易处理的中介模态数据增强其他模态数据语义对齐效果。本发明还构建了数据原型语义空间，能够使不同模态的数据在统一的原型语义空间中描述，多模态数据可以通过原型投影变换和自监督类别标签生成两种方式映射入原型语义空间。本发明方法能够在复杂的课堂环境中实现多模态数据的高效对齐和深度分析，从而帮助教师实时获取课堂动态，优化教学策略，促进教学质量提高和课堂效率的提升。