公开(公告)号：CN117392494A

公开(公告)日：2024-01-12

申请号：CN202311375582.7

申请日：2023-10-23

Applicant: 中北大学

Inventor： 王晋光 ,  靳凯欣 ,  王丽芳 ,  郭威 ,  韩强

IPC: G06V10/80 ,  G06V10/82 ,  G06V10/52 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/088

Abstract: 本发明公开了基于扩张卷积与注意力GCN的多模态医学图像融合，属于医学图像融合技术领域。针对多模态医学图像融合方法中存在着高级语义信息提取不足和低级特征容易丢失的问题，通过将图像分别输入到编码器中，使用基于扩张卷积的低级CNN编码器和基于注意力的高级GCN编码器进行提取特征；在融合模块中使用基于Conv‑Soft多模态融合网络进行基于ConvNeXt的模态内融合和基于Softmax的模态间融合；最后使用解码器重建得到融合图像。实验结果表明，基于扩张卷积与注意力GCN的多模态医学图像融合得到的融合图像保留了更多低级特征，对纹理细节表征清晰，保留了丰富的边缘特征和更为完整的高级语义信息，清晰地描述了图像中脑组织和病灶之间关系，更好地帮助医生的诊断。

公开(公告)号：CN115375638A

公开(公告)日：2022-11-22

申请号：CN202210951127.6

申请日：2022-08-09

Applicant: 中北大学

Inventor： 王丽芳 ,  刘阳 ,  米嘉 ,  张炯

IPC: G06T7/00 ,  G06V10/44 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明属于图像融合技术领域，具体涉及一种模态合成与增强的弱监督医学图像融合方法。针对多模态图像融合需要患者多次成像造成的对人体伤害和花费大、图像融合需配准大量成对数据集，时间长、难度大以及融合图像纹理及精细结构不够清晰的问题，本发明提出了基于CycleGAN与OctopusNet的模态合成与增强的弱监督医学图像融合方法，该方法由模态合成、图像增强与图像融合三部分组成。

公开(公告)号：CN111915545A

公开(公告)日：2020-11-10

申请号：CN202010784272.0

申请日：2020-08-06

Applicant: 中北大学

Inventor： 蔺素珍 ,  田嵩旺 ,  禄晓飞 ,  李大威 ,  李毅 ,  王丽芳

IPC: G06T5/50 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及多波段图像融合方法，具体为基于多判别器生成对抗网络的多波段图像自监督融合方法，本方法按如下步骤进行：设计并构建生成对抗网络，网络由一个生成器和多个判别器组成，且标签图像为多波段源图像自身；生成器网络结构采用构思的特征增强模块、特征融合模块两部分组成，通过生成器和判别器的动态平衡训练得到一个生成模型并得到多波段图像融合结果。本发明实现了多波段图像端到端自监督融合的神经网络，结果具有更好的清晰度、信息量，细节信息更丰富，更符合人眼视觉特性。

公开(公告)号：CN108711168A

公开(公告)日：2018-10-26

申请号：CN201810563047.7

申请日：2018-06-04

Applicant: 中北大学

Inventor： 王丽芳 ,  王雁丽 ,  史超宇 ,  窦杰亮 ,  张程程

IPC: G06T7/33

CPC classification number: G06T7/344 ,  G06T2207/10088 ,  G06T2207/30016

Abstract: 本发明公开了基于ZMLD与GC离散优化的非刚性多模态医学图像配准方法，涉及医学图像处理技术领域，方法主要包括：分别计算参考图像I和浮动图像J基于Zernike矩的局部描述符ZMLD，使用图像I和J的ZMLD之间的绝对误差和SAD作为能量函数的数据项，采用位移矢量场的一阶导数作为平滑项，构造能量函数，利用图割法GC的α扩展优化算法求解离散化后能量函数的最小值，输出能量函数最小值对应的最佳位移矢量场，即配准后的图像。本发明解决了非刚性图像存在噪声和强度失真时，现有方法无法同时准确提取图像强度和边缘、纹理特征，连续优化计算复杂度相对较高且易陷入局部最小值的问题。实验表明，本发明方法提高了非刚性多模态医学图像配准的精度和效率。