-
公开(公告)号:CN117953838A
公开(公告)日:2024-04-30
申请号:CN202410128960.X
申请日:2024-01-30
Applicant: 华南理工大学
IPC: G10H1/00
Abstract: 本发明公开了一种情绪符号音乐生成方法、装置及存储介质,属于数据处理技术领域。其中方法包括:获取输入信息,根据输入信息生成音乐所需的情绪标签;基于预设的情绪与音乐属性的映射关系,根据情绪标签映射得到音乐属性集;对情绪标签和音乐属性集进行编码,获得控制复合事件序列;根据控制复合事件序列生成融合控制信息的拼接向量;根据融合控制信息的拼接向量,采用自回归式逐个预测符号音乐复合事件,获得音乐复合事件序列;对音乐复合事件序列进行解码,获得符号音乐。本发明通过分离音乐和控制信号集的编码序列和相应的处理模块,灵活调整与音乐控制相关的模型设置,仅需进行时空开销较小的模型微调,即可使得模型具备生成情绪符号音乐的能力。
-
公开(公告)号:CN115082698B
公开(公告)日:2024-04-16
申请号:CN202210744125.X
申请日:2022-06-28
Applicant: 华南理工大学
IPC: G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开一种基于多尺度注意力模块的分心驾驶行为检测方法,包括以下步骤:得到标注对应的分心驾驶行为信息的图像数据集;结合多尺度注意力模块MPSA,改进MoblieNetV2特征网络模型,用于提取分心驾驶行为特征并输出预测驾驶行为概率,其中,改进的MoblieNetV2特征网络模型包括多个串联的倒瓶颈残差模块,且在每个倒瓶颈残差模块中加入多尺度注意力模块,定义为多尺度倒瓶颈残差模块,多尺度倒瓶颈残差模块包括分组卷积层、多尺度注意力模块层MPSA以及特征提取层,设置训练超参数,将训练集图像输入到改进后的MoblieNetV2特征网络模型,得到训练完备的分心驾驶行为检测模型;将待测图像输入训练得到的分心驾驶行为检测模型中,输出驾驶行为类型。稳定性好,鲁棒性强。
-
公开(公告)号:CN117809354A
公开(公告)日:2024-04-02
申请号:CN202410223747.7
申请日:2024-02-29
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06V40/16 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06V10/80 , G06V10/82 , A61B5/16 , A61B5/00
Abstract: 本发明涉及情感识别技术领域,具体提供了一种基于头部可穿戴设备感知的情感识别方法、介质及设备;其中,方法包括佩戴者情感识别方法,步骤为:采集佩戴者的多模态情感数据;采用局部融合情感识别网络进行处理:左眼输入和右眼输入进行深度卷积;左下脸部输入和右下脸部输入分别通过嵌入层将提取到的动作单元嵌入,然后与面部行为编码一起输入到空域图卷积中;采用多层感知机中进行空间映射,计算空间注意力和通道注意力后进行特征图融合得到情感特征;将情感特征进行融合,通过分类得到复合情感识别结果。该方法在局部多视角脸部数据中采用面部动作单元信息辅助情感感知,提升情感信息从佩戴者身体外观中投射的鲁棒性,提升情感判别精度。
-
公开(公告)号:CN117727335A
公开(公告)日:2024-03-19
申请号:CN202311582463.9
申请日:2023-11-24
Applicant: 华南理工大学
Abstract: 本发明提出一种基于叠加模型融合宽度学习系统的语音情感识别方法,该方法通过构建包含支持向量机、卷积神经网络、长短期记忆的多模型集成框架并采用宽度学习系统二次融合,实现对语音情感的识别,与依靠单一模型的识别方法相比具有很大的技术进步,经语音情感数据集选择、语音数据预处理、声学特征工程、基模型训练、多模型集成、宽度学习二次融合,最终构建出端到端的语音情感识别系统,该系统可以实现对语音情感的自动分析和判断,具有较好的识别效果。
-
公开(公告)号:CN117709969A
公开(公告)日:2024-03-15
申请号:CN202311760197.4
申请日:2023-12-20
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
IPC: G06Q30/01 , G06N3/0455 , G06N3/0895 , G06N3/084
Abstract: 本发明提供了一种面向客服场景的生成匹配式大模型构建方法、介质及设备;该方法包括依次执行的模型设定阶段、预训练阶段、领域迁移阶段和下游微调阶段;预训练阶段是指:采用跨领域中文语料库的文本作为样本,对智慧客服大模型的大模型基座进行预训练;领域迁移阶段是指:采用客服场景数据作为样本;对智慧客服大模型的大模型基座进行弱监督训练;下游微调阶段是指:采用客服场景人工标注数据作为样本,对智慧客服大模型进行训练以学习新业务的相关知识。该方法分阶段逐步地实现和优化大模型的功能,使其具备深度挖掘大规模客服文本数据知识的能力,同时对新增的业务需求和变化的业务内容具备精准迁移和快速扩展的能力。
-
公开(公告)号:CN109350051B
公开(公告)日:2023-12-29
申请号:CN201811430882.X
申请日:2018-11-28
Applicant: 华南理工大学
Abstract: 行调节。本发明提供了一种用于精神状态评估与调节的头部可穿戴设备,其特征在于:包括:用于将音频源文件进行播放的音频播放模块;用于采集被试者生理信号的生理信号采集模块;用于对生理信号采集模块采集到的生理信号进行情绪识别和精神状态评估得到精神状态评估结果、并反馈到音频播放模块以调整播放的音频源文件的精神状态评估模块。该设备将精神状态评估与干预调节集于一体,使用方便,快速有效地对被试者进行精神状态评估与干预调节。本发明还提供一种上述头部可穿戴设备的工作方法,该工作方(56)对比文件Tengfei Song et.al.EEG EmotionRecognition Using Dynamical GraphConvolutional Neural Networks. IEEETransactions on Affective Computing.2018,532 - 541.C. L. Philip Chen et.al.BroadLearning System: a new learning paradigmand system without going deep.2017 32ndYouth Academic Annual Conference ofChinese Association of Automation (YAC).2017,全文.
-
公开(公告)号:CN117238018A
公开(公告)日:2023-12-15
申请号:CN202311217076.5
申请日:2023-09-20
Applicant: 华南理工大学 , 人工智能与数字经济广东省实验室(广州)
Abstract: 本发明提供了一种基于多粒度的可增量深宽网络活体检测方法、介质及设备;其中方法为:将待检测的图像依次进行人脸区域提取、人脸对齐、人脸特征向量提取处理,形成多粒度信息;将多粒度信息输入到稀疏宽度活体识别网络,得到活体检测结果;稀疏宽度活体识别网络的训练方法为:将样本图像分成若干批次;将样本图像的多粒度信息分批次输入到宽度活体识别网络进行学习,更新权重;当获取到新的样本图像时,采用增量方式输入到宽度活体识别网络进行学习,更新权重。该方法可解决学习时间消耗和资源占用问题,检测精度高,鲁棒性强。
-
公开(公告)号:CN112906500B
公开(公告)日:2023-08-22
申请号:CN202110125228.3
申请日:2021-01-29
Applicant: 华南理工大学
IPC: G06V40/16 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08 , G06N3/047
Abstract: 本发明公开了基于深度特权网络的人脸表情识别方法,包括以下步骤:主网络通过输入面部表情图片,并进行预处理,得到预处理面部表情图片;主网络学习其人脸表情特征,得到人脸表情特征信息,进而对人脸表情情绪进行情绪分类,得到情绪分类信息;通过特权网络获取特权信息,进而对损失函数进行特权学习,优化主网络的参数,得到优化深度特权网络;在主网络输入测试的面部表情图片,对测试的面部表情图片进行预处理;采用通过特权学习后的深度特权网络提取表情特征,实现情绪分类,得到人脸表情识别结果;本发明将人脸运动单元作为特权信息,对传统的深度网络进行训练以提取出有利于识别的表情特征,从而提高人脸情绪识别的准确度。
-
公开(公告)号:CN113158870B
公开(公告)日:2023-07-18
申请号:CN202110404921.4
申请日:2021-04-15
Applicant: 华南理工大学
IPC: G06V40/10 , G06V10/774 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/094
Abstract: 本发明公开了一种2D多人姿态估计网络的对抗式训练方法、系统及介质,其中方法包括:获取人体图像数据以及进行数据增强,将RGB图片中三个通道的数值进行映射,对图片中RGB三个通道进行归一化处理;利用截断的高斯分布,将图片中人体的关键点的位置坐标转换成多通道的热图;构建姿态判别器网络,构建以HRNet为主干的姿态网络,进行Xavier初始化;根据训练后的姿态网络,借助热图中最大值向次大值偏离四分之一的方式确定最终的关键点的位置坐标。本发明将姿态网络与姿态判别器网络相互竞争地进行训练,该训该练方法能有效学习到人体的关键点特征,并在复杂的背景环境中具有良好的鲁棒性,可广泛应用于图像识别技术领域。
-
公开(公告)号:CN113379779B
公开(公告)日:2023-04-07
申请号:CN202110630388.3
申请日:2021-06-07
Applicant: 华南理工大学
IPC: G06T7/13 , G06V10/764 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种堆叠宽度学习系统的边缘计算方法、装置、介质和设备;其中方法包括如下步骤:采集待识别样本图像;对待识别样本图像进行预处理;将预处理后的待识别样本图像分别与各个数据库存储图像组成样本对;将样本对输入到堆叠宽度孪生网络中;堆叠宽度孪生网络包含两个具有相同权重和网络结构的子网络;两个子网络分别一对一地对样本对中的待识别样本图像和数据库存储图像进行处理得出两路输出特征向量,进行相似度度量,判断待识别样本图像和数据库存储图像是否为同一类别,从而得出识别结果。该方法能够在确保准确度的情况下有效降低训练时间和内存资源开销。
-
-
-
-
-
-
-
-
-