-
公开(公告)号:CN119762301A
公开(公告)日:2025-04-04
申请号:CN202411841637.3
申请日:2024-12-13
Applicant: 南京信息工程大学
Abstract: 本发明提供了一种基于人体姿态课堂教学效果检测系统,包括教学面板、眼动仪、摄像头、课桌压力传感器组、座椅压力传感器组和时间模块;眼动仪、摄像头、课桌压力传感器组和座椅压力传感器组组成学生上课时姿态信息采集模块,通过眼动仪采集学生上课过程中眼球运动轨迹数据,通过摄像头采集学生上课过程中面部朝向和活动信息,课桌压力传感器组和座椅压力传感器组用于采集学生上课过程中身体活动信息。本发明通过时间模块设定单节课堂教学时长,开始时间以及结束时间为结合眼动仪和摄像头,完成课堂教学效果合格或不合格的检测,也能确定教学内容的最优教学部分,便于完成课堂教学检测,实时便捷。
-
公开(公告)号:CN119293740A
公开(公告)日:2025-01-10
申请号:CN202411833608.2
申请日:2024-12-13
Applicant: 南京信息工程大学
IPC: G06F18/25 , G06F18/241 , G06V40/16 , G06V40/10 , G06V10/80 , G06N3/0455 , G06N3/08 , G06V10/82
Abstract: 本发明公开了一种多模态对话情感识别方法,涉及多模态情感识别和人机交互技术领域,包括:利用人脸识别模型和姿态识别工具分别得到表情时序特征和姿态时序特征;注意力模块对表情和姿态特征进行自适应加权融合,获得融合的视觉模态特征;构建上下文语境信息的新表达并基于提示的情感建模技术得到情感表示并通过文本编码器提取文本模态特征;使用数据向量化模型提取说话者对应语音的模态特征;提出跳跃连接多头注意力跨模态融合方法,对多模态的模态特征进行跨模态对齐与融合,之后通过情感分类器模块进行情感识别。本发明有效解决了传统多模态情感识别中关键情感线索识别不足及融合不充分的问题,提高了情感识别的准确性和鲁棒性。
-
公开(公告)号:CN118538367B
公开(公告)日:2024-11-19
申请号:CN202411003151.2
申请日:2024-07-25
Applicant: 南京信息工程大学
Abstract: 本发明公开了生物行为识别领域的一种基于面部和体态行为感知的渐进性放松训练方法,包括,播放预先设计的用于渐进性放松训练的音频;在音频播放过程中,执行以下训练操作:获取被训练人的图像数据;其中图像数据包括面部图像和躯体图像;基于面部图像,通过Blaze Face算法获取面部关键点信息,面部关键点信息包括双眼关键点信息和嘴巴关键点信息;根据双眼关键点信息计算双眼开合比,根据嘴巴关键点信息计算嘴巴开合比;基于躯体图像,通过Blaze Pose算法获取身体关键点信息,计算头‑肩夹角;根据双眼开合比、嘴巴开合比和头‑肩夹角,确定眼部特征值、嘴巴特征值和体态特征值;根据眼部特征值、嘴巴特征值和体态特征值,控制训练音频的播放。
-
公开(公告)号:CN118839701A
公开(公告)日:2024-10-25
申请号:CN202411328293.6
申请日:2024-09-24
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/10 , G06F18/2415 , G06F40/232 , G06F40/126 , G06F40/205 , G06F40/186 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了一种融合交互式会话语境和会话者身份属性的情感识别方法,采集由多人参与的交互式会话记录,构建参与者会话队列;创建语境增强的交互式话语列表,通过提示驱动的情绪模板生成情绪感知增强的个性化话语表达,进行数值化处理并输入到SimCSE模型生成话语的情感嵌入特征;情感嵌入特征被组织成相同数量的批次,输入构建的EmoNet情绪编码器计算信息熵损失和正则化对比学习损失,将两种损失融合为混合对比学习损失用于训练EmoNet网络,优化情感识别的精确度;使用训练好的EmoNet对新输入的数据进行情感分类。本发明适用于大规模互动对话数据的多种应用场景,有效提升了情感识别的自动化水平和适应性。
-
公开(公告)号:CN108269264B
公开(公告)日:2021-11-09
申请号:CN201611271169.6
申请日:2016-12-30
Applicant: 南京信息工程大学
Abstract: 豆籽粒的形状、大小等物理表征是豆类品质和种类判定的重要依据,快速准确地通过豆籽粒图像,检测辨别豆类的种类和品质是当今农业发展的一大问题。本发明提出一种基于梯度与曲率结合模型,G&C model的豆籽粒图像去噪及分形参数研究的方法。该发明首先用梯度与曲率相结合的图像处理方法对采集到的豆子图像进行去噪处理,随后对去噪后的豆籽粒图像进行分形参数研究,完成豆籽粒特征提取,最后通过特征值简洁有效的地对豆籽粒种类进行检测,从而为豆籽粒品种的检测提供一种有效的方法。
-
公开(公告)号:CN108269264A
公开(公告)日:2018-07-10
申请号:CN201611271169.6
申请日:2016-12-30
Applicant: 南京信息工程大学
Abstract: 豆籽粒的形状、大小等物理表征是豆类品质和种类判定的重要依据,快速准确地通过豆籽粒图像,检测辨别豆类的种类和品质是当今农业发展的一大问题。本发明提出一种基于梯度与曲率结合模型,G&C model的豆籽粒图像去噪及分形参数研究的方法。该发明首先用梯度与曲率相结合的图像处理方法对采集到的豆子图像进行去噪处理,随后对去噪后的豆籽粒图像进行分形参数研究,完成豆籽粒特征提取,最后通过特征值简洁有效的地对豆籽粒种类进行检测,从而为豆籽粒品种的检测提供一种有效的方法。
-
公开(公告)号:CN118839701B
公开(公告)日:2025-04-01
申请号:CN202411328293.6
申请日:2024-09-24
Applicant: 南京信息工程大学
IPC: G06F40/30 , G06F18/10 , G06F18/2415 , G06F40/232 , G06F40/126 , G06F40/205 , G06F40/186 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明公开了一种融合交互式会话语境和会话者身份属性的情感识别方法,采集由多人参与的交互式会话记录,构建参与者会话队列;创建语境增强的交互式话语列表,通过提示驱动的情绪模板生成情绪感知增强的个性化话语表达,进行数值化处理并输入到SimCSE模型生成话语的情感嵌入特征;情感嵌入特征被组织成相同数量的批次,输入构建的EmoNet情绪编码器计算信息熵损失和正则化对比学习损失,将两种损失融合为混合对比学习损失用于训练EmoNet网络,优化情感识别的精确度;使用训练好的EmoNet对新输入的数据进行情感分类。本发明适用于大规模互动对话数据的多种应用场景,有效提升了情感识别的自动化水平和适应性。
-
公开(公告)号:CN119293740B
公开(公告)日:2025-03-07
申请号:CN202411833608.2
申请日:2024-12-13
Applicant: 南京信息工程大学
IPC: G06F18/25 , G06F18/241 , G06V40/16 , G06V40/10 , G06V10/80 , G06N3/0455 , G06N3/08 , G06V10/82
Abstract: 本发明公开了一种多模态对话情感识别方法,涉及多模态情感识别和人机交互技术领域,包括:利用人脸识别模型和姿态识别工具分别得到表情时序特征和姿态时序特征;注意力模块对表情和姿态特征进行自适应加权融合,获得融合的视觉模态特征;构建上下文语境信息的新表达并基于提示的情感建模技术得到情感表示并通过文本编码器提取文本模态特征;使用数据向量化模型提取说话者对应语音的模态特征;提出跳跃连接多头注意力跨模态融合方法,对多模态的模态特征进行跨模态对齐与融合,之后通过情感分类器模块进行情感识别。本发明有效解决了传统多模态情感识别中关键情感线索识别不足及融合不充分的问题,提高了情感识别的准确性和鲁棒性。
-
公开(公告)号:CN118538367A
公开(公告)日:2024-08-23
申请号:CN202411003151.2
申请日:2024-07-25
Applicant: 南京信息工程大学
Abstract: 本发明公开了生物行为识别领域的一种基于面部和体态行为感知的渐进性放松训练方法,包括,播放预先设计的用于渐进性放松训练的音频;在音频播放过程中,执行以下训练操作:获取被训练人的图像数据;其中图像数据包括面部图像和躯体图像;基于面部图像,通过Blaze Face算法获取面部关键点信息,面部关键点信息包括双眼关键点信息和嘴巴关键点信息;根据双眼关键点信息计算双眼开合比,根据嘴巴关键点信息计算嘴巴开合比;基于躯体图像,通过Blaze Pose算法获取身体关键点信息,计算头‑肩夹角;根据双眼开合比、嘴巴开合比和头‑肩夹角,确定眼部特征值、嘴巴特征值和体态特征值;根据眼部特征值、嘴巴特征值和体态特征值,控制训练音频的播放。
-
公开(公告)号:CN106443385A
公开(公告)日:2017-02-22
申请号:CN201610901584.9
申请日:2016-10-17
Applicant: 南京信息工程大学
IPC: G01R31/12
CPC classification number: G01R31/12
Abstract: 本发明利用PSPICE仿真软件采用组合波对多级电涌保护器SPD进行线-地、线-线两种工作模式下的残压以及通流量进行测试,同时利用实际冲击试验平台进行多级SPD的实际冲击试验,然后将仿真测试结果与实际冲击试验结果进行对比,得出的仿真冲击试验最终的最大残压值与最大通流容量较实际测量更为理想。本发明通过实际冲击试验结果对仿真结果进行验证,充分说明了PSPICE仿真冲击试验的可行性,使其可作为实际冲击试验的替代或对比验证数据,为SPD的应用提供参考依据。
-
-
-
-
-
-
-
-
-