发明公开
- 专利标题: 一种基于双峰注意力融合网络的多模态数据分类方法
-
申请号: CN202410148682.4申请日: 2024-02-02
-
公开(公告)号: CN117992913A公开(公告)日: 2024-05-07
- 发明人: 栗伟 , 潘智超 , 赵敏清 , 谢维冬 , 冯朝路 , 杨金柱 , 覃文军 , 曹鹏 , 赵大哲
- 申请人: 东北大学
- 申请人地址: 辽宁省沈阳市和平区文化路3号巷11号
- 专利权人: 东北大学
- 当前专利权人: 东北大学
- 当前专利权人地址: 辽宁省沈阳市和平区文化路3号巷11号
- 代理机构: 沈阳东大知识产权代理有限公司
- 代理商 梁焱
- 主分类号: G06F18/25
- IPC分类号: G06F18/25 ; G06F18/241 ; G16B40/00 ; G06V10/44 ; G06V10/82 ; G06N3/045 ; G06N3/0464 ; G06N3/084
摘要:
本发明设计一种基于双峰注意力融合网络的多模态数据分类方法,属于多模态数据分析领域;首先通过TCGA下载公开基因表达数据,然后通过特征选择方法提取基因表达数据中的基因特征;然后通过TCGA下载公开病理图像数据,再训练卷积神经网络模型提取病理图像数据中的图像特征;最后通过双峰注意力融合网络BAFN将提取到的基因特征和图像特征进行特征融合并输出分类结果;与传统方法相比,本发明能够更好地利用多模态数据之间的关联性,更高效地融合多模态特征,同时减少融合过程中信息丢失的问题,从而实现更好的分类效果。