公开(公告)号：CN116309456A

公开(公告)日：2023-06-23

申请号：CN202310274446.2

申请日：2023-03-20

Applicant: 上海交通大学医学院附属第九人民医院

Inventor： 宋雪霏 ,  姜梦达 ,  张海扬 ,  陈铠之 ,  张慧杰 ,  许嘉烁 ,  夏多金 ,  周慧芳

IPC: G06T7/00 ,  G06V10/80 ,  G06V10/44 ,  G06V10/25 ,  G06V10/82 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明的一个技术方案是提供了一种多模态特征融合方法，其特征在于，将同一个患者的影像深度学习特征featureDL、多个影像手工特征记以及患者临床特征featureclinic进行融合后得到最终的融合特征。本发明的另一个技术方案是提供了一种上述的多模态特征融合方法的应用，其特征在于，应用在治疗效果预测中。本发明以卷积神经网络为基础，作为图像特征提取的主干网络提取得到图像深度学习特征，与此同时，本发明引入不同ROI区域的手工图像特征以及患者临床特征。本发明端到端地融合图像深度学习特征、手工图像特征以及患者临床特征，形成不同模态数据的相同交叉。采用本发明所得到的融合后的特征进行分类判别，可以得到更为准确的预测结果。