基于交叉Transformer和MLIF的多模态融合生存预后方法

    公开(公告)号:CN117746201A

    公开(公告)日:2024-03-22

    申请号:CN202311850353.6

    申请日:2023-12-29

    Abstract: 本发明公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法,所述方法包括以下步骤:获取影像和病理切片数据集;对数据集进行预处理并标注感兴趣区域;对其进行手工特征提取;划分训练集和测试集;将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练;其中,第一阶段的训练是采用交叉Transformer增强不同特征间的交互,利用多模态低秩交互融合模块(MLIF)将不同特征进行全面高效整合,生成多模态融合特征;第二阶段的训练是根据多模态融合特征,训练一个用于生存预后的回归网络,该网络的预测结果为最终结果。本发明通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性,提高了患者的治疗效果和生存率。

    一种红外与可见光图像融合的方法

    公开(公告)号:CN116452480A

    公开(公告)日:2023-07-18

    申请号:CN202310397002.8

    申请日:2023-04-14

    Abstract: 本发明是属于图像融合技术领域,具体涉及一种基于卷积与自注意力机制结合的红外与可见光图像融合方法;所述方法包括编码器、融合策略和解码器三个阶段:在编码器阶段,将可将光图像和红外图像分别输入到基于卷积和自注意力机制结合的模块,得到图像特征;在融合策略阶段,将上述得到的特征在Y通道上进行融合,得到融合图像;最后通过级联的解码器重建融合图像,得到最终的红外与可见光融合图像。本发明通过建立一个图像融合的模型,得到红外与可见光融合图像,该图像不仅包含显著目标和丰富的纹理信息,而且有助于高级视觉任务的完成。

Patent Agency Ranking