公开(公告)号：CN115731595A

公开(公告)日：2023-03-03

申请号：CN202211441603.6

申请日：2022-11-17

Applicant: 广州大学

Inventor： 陈首彦 ,  孙欣琪 ,  赵志甲 ,  易梓宇 ,  许森颖

IPC: G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N7/02

Abstract: 本发明属于模式识别和情感识别领域，公开了一种基于模糊规则的多层次决策融合的情感识别方法，包括如下步骤：步骤1:获取视听情感数据集，语音模态下进行语音MFCC特征提取，视觉模态下进行面部表情图像预处理；步骤2：建立视觉下面部表情识别模型，模型的输入为面部表情图像，输出为情感分类结果；情感分类结果包括：生气、厌恶、害怕、高兴、中性、悲伤、惊讶；步骤3：建立基于模糊规则的决策级融合语音情感识别模型；步骤4：建立基于模糊规则的视觉和语音双模态情感识别模型。本发明通过模糊规则的多层次决策融合策略，根据模态的贡献来分配模态权值，实现基于视觉和语音双模态下的情感识别，改善情感识别率。

公开(公告)号：CN116525076A

公开(公告)日：2023-08-01

申请号：CN202310500782.4

申请日：2023-05-05

Applicant: 广州大学

Inventor： 吴文强 ,  易梓宇 ,  许森颖 ,  林泽宇 ,  陈志臻 ,  夏家豪 ,  朱大昌 ,  陈首彦

IPC: G16H30/20 ,  G16H50/20 ,  G16H50/50 ,  G06T5/50 ,  G06V10/774 ,  G06V10/82 ,  G06V10/764

Abstract: 本公开提供了一种阿尔兹海默症辅助诊断模型获取方法及装置，其中，方法包括：获取MRI和PET医学图像数据集，在三维状态下对MRI和PET医学图像进行预处理，完成配准和切片工作；将MRI和PET二维图像输入预先通过多尺度自适应变换建立的图像融合模型，输出融合图像；基于迁移学习方法，利用相近的认知障碍数据库对预先建立的VGG16神经网络图像分类识别模型进行预训练；使用融合图像对VGG16神经网络图像分类识别模型进行最后训练，获得多模态阿尔兹海默症辅助诊断模型。本公开将多尺度自适应变换应用于图像融合阶段，将迁移学习应用于图像分类阶段，以充分捕获来自不同深度的不同尺寸特征和解决数据量过少问题。