一种红外与可见光图像融合的方法

    公开(公告)号:CN116452480A

    公开(公告)日:2023-07-18

    申请号:CN202310397002.8

    申请日:2023-04-14

    Abstract: 本发明是属于图像融合技术领域,具体涉及一种基于卷积与自注意力机制结合的红外与可见光图像融合方法;所述方法包括编码器、融合策略和解码器三个阶段:在编码器阶段,将可将光图像和红外图像分别输入到基于卷积和自注意力机制结合的模块,得到图像特征;在融合策略阶段,将上述得到的特征在Y通道上进行融合,得到融合图像;最后通过级联的解码器重建融合图像,得到最终的红外与可见光融合图像。本发明通过建立一个图像融合的模型,得到红外与可见光融合图像,该图像不仅包含显著目标和丰富的纹理信息,而且有助于高级视觉任务的完成。

    一种基于改进的ResNeSt卷积神经网络模型的糖尿病性视网膜病变图像分类方法

    公开(公告)号:CN113408593A

    公开(公告)日:2021-09-17

    申请号:CN202110613678.7

    申请日:2021-06-05

    Abstract: 本发明公开了一种基于改进的ResNeSt卷积神经网络模型的糖尿病性视网膜病变图像分类方法。该方法为:首先从医院获取病变图像;对图像进行预处理,眼科医生手动标注,划分数据集;再搭建实验所需的深度学习服务器平台,然后编写python代码;在ResNeSt卷积神经网络中引入OctConv和SPConv两种轻量且高效的卷积操作,并引入Warm Restart和余弦退火的学习率调解机制;采用ILSVRC2012数据集对改进的ResNeSt网络进行预训练,将得到的模型迁移到预处理后的数据集上进行微调;载入测试集,测试训练好的ResNeSt卷积神经网络分类模型,得出分类的结果,看各分类指标是否符合要求。本发明实现了对糖尿病性视网膜病变图像分类方法,利用改进的ResNeSt模型,有较高的运行效率和分类准确度,应用价值很高。

    基于交叉Transformer和MLIF的多模态融合生存预后方法

    公开(公告)号:CN117746201A

    公开(公告)日:2024-03-22

    申请号:CN202311850353.6

    申请日:2023-12-29

    Abstract: 本发明公开了一种基于交叉Transformer和MLIF的多模态融合生存预后方法,所述方法包括以下步骤:获取影像和病理切片数据集;对数据集进行预处理并标注感兴趣区域;对其进行手工特征提取;划分训练集和测试集;将所述影像组学特征和病理特征输入至预设的多模态融合模块进行二阶段的训练;其中,第一阶段的训练是采用交叉Transformer增强不同特征间的交互,利用多模态低秩交互融合模块(MLIF)将不同特征进行全面高效整合,生成多模态融合特征;第二阶段的训练是根据多模态融合特征,训练一个用于生存预后的回归网络,该网络的预测结果为最终结果。本发明通过端到端整合多模态数据揭示了不同模态数据之间的关联和互补性,提高了患者的治疗效果和生存率。

Patent Agency Ranking