一种基于多源特征的语音情绪识别方法及应用

    公开(公告)号:CN117457030A

    公开(公告)日:2024-01-26

    申请号:CN202311108301.1

    申请日:2023-08-30

    Abstract: 本申请公开了一种基于多源特征的语音情绪识别方法,包括:采集开源语音识别数据集和环境声音识别数据集,分别训练得到语音识别网络模型和环境声音识别网络模型,采集开源情绪语音数据集进行音频增强;对增强情绪语音音频提取MFCC特征,并输入膨胀因果交互子网络得到高阶MFCC特征;将增强情绪语音音频输入语音识别网络模型和环境声音识别网络模型得到高阶文本特征和高阶环境特征,再与高阶MFCC特征融合后输入时序分解因果卷积块生成高阶时序因果复合特征,通过全连接层输出至分类网络层识别语音情绪。其可以解决传统语音情绪识别技术仅基于语音的声学特征、依赖标准干净的语音信号导致语音情绪识别准确率较低,无法在复杂环境下准确识别语音情绪的问题。

    一种基于类人眼的学生数据智能采集方法及装置

    公开(公告)号:CN117037035A

    公开(公告)日:2023-11-10

    申请号:CN202311030823.4

    申请日:2023-08-15

    Abstract: 本申请公开了一种基于类人眼的学生数据智能采集方法及装置,该方法包括:获取部署在展馆内部不同展区的各摄像头所采集的参观人员的视频流,通过图像检测生成每个参观人员的检测框,形成待查询的检测框集合;使用训练好的特征提取模型从所述视频流中提取每个参观人员的外观特征、人体姿势特征和虚拟轨迹;基于所述外观特征、人体姿势特征和虚拟轨迹将所述检测框与待识别的参观人员进行匹配,生成人员轨迹匹配信息;根据所述人员轨迹匹配信息以及预先建立的展馆摄像头链路拓扑生成参观人员的活动数据,包括参观人员的身份信息和活动轨迹数据。本发明可以有效地对展馆参观人员进行识别和活动轨迹生成,同时可以克服光照变化和遮挡等问题。

    一种基于表情识别的风险学生预测方法

    公开(公告)号:CN113792627B

    公开(公告)日:2023-11-07

    申请号:CN202111002632.8

    申请日:2021-08-30

    Abstract: 本发明公开了一种基于表情识别的风险学生预测方法,该方法包括以下步骤:1)将输入的学生人脸图像转为张量,将这些张量按比例分为训练集和测试集;2)训练基于表情识别风险学生的学习模型,构造分为消极表情和非消极表情的二维高斯软标签,将训练集张量输入基于标签分布的学习模型,利用预测标签和真实标签之间的KL‑loss来训练学习模型;3)将测试集张量输入训练好的学习模型中进行特征提取和表情识别,将识别的结果存储到学生情绪库;4)根据学生的表情识别的结果分析学生的情绪状态,判断该学生是否为风险学生。本发明设计了新的学习模型并将表情分为积极表情和消极表情利用二维标签来进行表情识别,提升了识别准确性,可有效预测风险学生。

    一种基于卷积增强链的数据隐私保护方法

    公开(公告)号:CN115118462B

    公开(公告)日:2023-07-18

    申请号:CN202210646887.6

    申请日:2022-06-09

    Abstract: 本申请公开了一种基于卷积增强链的数据隐私保护方法,包括:获取各学习主体对应的学习数据,并根据所述学习主体建立对应的私有数据节点,将所述学习数据存入对应的所述私有数据节点;基于区块链网络的智能合约和共识协议在各所述私有数据节点之间建立安全网络连接,并互相通信实现自身状态更新;在各所述私有数据节点构建基于强化学习和安全计算的底层系统,与所述区块链网络一同形成卷积增强链,对所述学习数据进行隐私保护。其可以解决基于传统数据隐私保护机制保护后的数据可用性不高,用于进行模型训练效果较差或模型受到攻击后其内的数据将会全部泄露的问题。

    多用户虚拟化身交互行为安全保护方法及系统

    公开(公告)号:CN116310238A

    公开(公告)日:2023-06-23

    申请号:CN202310257001.3

    申请日:2023-03-16

    Inventor: 徐建 张昭理

    Abstract: 本发明属于元宇宙应用领域,提供一种多用户虚拟化身交互行为安全保护方法及系统,该方法包括:(1)对等网络模型搭建;(2)身份认证管理;(3)虚拟化身交互;(4)虚拟化身交互语义提取;(5)交互数据保护;(6)隐私设置;(7)交互脚本调用。本发明基于身份认证、交互语义提取、数据保护、因素设置的多用户虚拟化身交互行为安全保护方法及系统具有整体性、系统性、高效性的优点,为元宇宙中多用户虚拟化身交互行为提供一种智能化的数据保护方法。

    基于3D人体姿态估计的课堂教学手势识别方法及系统

    公开(公告)号:CN114120443A

    公开(公告)日:2022-03-01

    申请号:CN202111359586.7

    申请日:2021-11-17

    Abstract: 本发明公开了基于3D人体姿态估计的课堂教学手势识别方法及系统。该方法包括步骤:S1,采集教学过程中教师和学生的红外视频流和RGB‑D视频流;S2,获取教师行为数据流、教师3D点云数据流、学生行为数据流和学生3D点云数据流;S3,将教师行为数据流和教师3D点云数据输入到教师识别模型中,获得教师手势骨架特征识别结果,将学生行为数据流和学生3D点云数据输入到学生识别模型中,获得学生头部姿态识别结果;S4,根据教师手势骨架特征识别结果和学生头部姿态识别结果确定教师教学手势。本发明可以从教学视频流中准确获取教师手势信息,从而为评价和提高教师非言语能力、引导学生注意力、高效控制电子屏幕等应用提供了技术基础。

Patent Agency Ranking