公开(公告)号：CN118888154B

公开(公告)日：2025-03-28

申请号：CN202410900779.6

申请日：2024-07-05

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  杨宇杰 ,  安俊秀

IPC: G16H50/70 ,  A61B5/16 ,  A61B5/00 ,  G06F18/25 ,  G06F18/15 ,  G06N3/0499 ,  G06N3/0455

Abstract: 本发明公开了一种基于多层次特征融合的多模态抑郁症识别系统，涉及多模态融合技术领域，所述系统包括：获取单元：用于获取多模态抑郁症数据，对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模块，获得预测结果，可以解决现有多模态抑郁症识别模型缺少对每种模态内部具有高情绪感知特征的关注和对模态自身内部价值差异的处理，导致模型预测的精准度和泛化能力较差的问题。

公开(公告)号：CN119181045A

公开(公告)日：2024-12-24

申请号：CN202411291553.7

申请日：2024-09-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  彭君印 ,  安俊秀

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06F16/901 ,  G06F16/783

Abstract: 本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。

公开(公告)号：CN118888154A

公开(公告)日：2024-11-01

申请号：CN202410900779.6

申请日：2024-07-05

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  杨宇杰 ,  安俊秀

IPC: G16H50/70 ,  A61B5/16 ,  A61B5/00 ,  G06F18/25 ,  G06F18/15 ,  G06N3/0499 ,  G06N3/0455

Abstract: 本发明公开了一种基于多层次特征融合的多模态抑郁症识别系统，涉及多模态融合技术领域，所述系统包括：获取单元：用于获取多模态抑郁症数据，对所述多模态抑郁症数据进行预处理，获得多模态数据；第一特征单元：用于对所述多模态数据进行特征提取获得单模态的低级抑郁特征；对所述低级抑郁特征进行特征提取，获得单模态的高级抑郁特征；融合单元：用于时间维度、空间维度和所述高级抑郁特征，获得时空融合抑郁特征；关系图单元：用于所述时空融合抑郁特征和所述高级抑郁特征，获得模态融合关系图E；第二特征单元：用于对所述模态融合关系图E的模态的平衡关系进行处理，获得多模态抑郁特征；预测单元：用于将所述多模态抑郁特征输入抑郁预测模块，获得预测结果，可以解决现有多模态抑郁症识别模型缺少对每种模态内部具有高情绪感知特征的关注和对模态自身内部价值差异的处理，导致模型预测的精准度和泛化能力较差的问题。

公开(公告)号：CN119181045B

公开(公告)日：2025-04-04

申请号：CN202411291553.7

申请日：2024-09-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  彭君印 ,  安俊秀

IPC: G06V20/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08 ,  G06F16/901 ,  G06F16/783

Abstract: 本发明公开了一种基于跨模态特征互补和有向图学习的多模态对话情感识别方法，涉及对话情感识别技术领域，所述方法包括：获取视频对话数据，对所述视频对话数据进行特征提取，获得第一特征；对所述第一特征进行编码，获得第二特征；基于所述第二特征构建跨模态异构图，基于所述跨模态异构图获得注意力权重；基于所述注意力权重对所述跨模态异构图进行更新，获得最终跨模态异构图，提取所述最终跨模态异构图的互补特征信息，基于所述互补特征信息，对所述最终跨模态异构图的特征进行融合获得增强特征；基于所述增强特征构建多模态有向图；基于所述多模态有向图获得情感特征，将所述情感特征传输至预训练情感分类器进行预测，获得预测情感结果，可以解决现有ERC方法中多模态数据融合中的冲突和异构性、以及忽略各模态之间的相互作用，导致模态信息丢失、模态融合不充分的问题。

公开(公告)号：CN119323583A

公开(公告)日：2025-01-17

申请号：CN202411432181.5

申请日：2024-10-14

Applicant: 成都信息工程大学

Inventor： 郑文斌 ,  王彩莲 ,  张海清

IPC: G06T7/11 ,  G06T7/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0499

Abstract: 本发明公开了基于稀疏注意力机制的多模态脑肿瘤图像分割系统，涉及医学图像处理技术领域，所述系统包括获取数据单元：用于获取多模态脑肿瘤数据，对所述多模态脑肿瘤数据进行预处理获得多模态数据；特征提取单元：用于基于第一编码器，提取所述多模态数据中每个模态的第一特定特征Fm；特征融合单元：用于基于所述第一特定特征Fm和第一融合令牌Ff，获得第一特征f1；基于模态稀疏掩码融合Transformer模型，对所述第一特征f1进行交互，获得第二特征Z，基于所述第二特征Z，提取每个模态的权重IMm，基于所述权重IMm获得第三特征#imgabs0#基于空间维度，将所述第三特征#imgabs1#进行整形获得第四特征#imgabs2#预测单元：用于将所述第四特征#imgabs3#输入脑肿瘤分割模型获得第一损失L1，基于所述第一损失L1获得预测分割结果，可以解决现有基于共享特征表示的分割方式对脑肿瘤信息不敏感以及缺失模态时脑肿瘤特征融合出现信息冗余和忽略重要脑肿瘤信息的问题。