-
公开(公告)号:CN117558414A
公开(公告)日:2024-02-13
申请号:CN202311568414.X
申请日:2023-11-23
Applicant: 之江实验室
IPC: G16H30/20 , G16H30/40 , G06T11/00 , G06T7/11 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种多任务肝细胞癌早期复发预测系统、电子设备、介质,包括:预处理模块、数据增强模块、模型训练模块和复发预测模块,选取训练图像对早期复发预测模型进行训练,训练过程中,使用随机梯度下降算法更新模型参数,得到训练好的多任务肝细胞癌早期复发预测模型;所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型;所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头;所述肿瘤分割分支模型包括编码器、分割适应器和解码器。本发明中适应器充分利用了关联任务的信息,提高了复发预测的精度;本发明提出的适应器即插即用,不会影响模型原有结构。
-
公开(公告)号:CN116385330B
公开(公告)日:2023-09-15
申请号:CN202310661539.0
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种利用图知识引导的多模态医学影像生成方法和装置,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后利用图知识引导构建基于对抗生成网络的对抗生成模型,使用训练集训练对抗生成模型;再获取训练好的对抗生成模型中训练好的生成器,使用验证集通过评估指标对训练好的生成器的性能进行评估,并根据评估结果对生成器的参数进行调整,以获取最优生成器;最后将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。本发明能够捕获到跨区域和跨图像关系作为上下文和补偿信息,约束对抗的方向,进一步提升多模态生成的结果,有利于提高生成图像的质量。
-
公开(公告)号:CN116385329B
公开(公告)日:2023-08-29
申请号:CN202310661464.6
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06T7/00 , G06N3/0475 , G06N3/0464 , G06N3/094 , G06N3/0455
Abstract: 本发明公开了一种基于特征融合的多层知识蒸馏医学影像生成方法和装置,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后基于特征感知融合构建对抗生成模型,基于多层知识蒸馏使用数据集训练对抗生成模型;再获取训练好的对抗生成模型中训练好的生成器,使用数据集通过评估指标对训练好的生成器的性能进行评估,并根据评估结果进一步调整生成器的参数,以获取最优生成器;最后将源域图像输入最优生成器中以获取生成的目标域图像。本发明能在有限数据的情况下,通过新的数据提取方式可以最大程度上扩充数据库,同时提升图像的生成效果;本发明可以在保留CNN对于局部纹理等信息抓取的优势下,提升对于全局相关性的信息捕获。
-
公开(公告)号:CN116385329A
公开(公告)日:2023-07-04
申请号:CN202310661464.6
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06T7/00 , G06N3/0475 , G06N3/0464 , G06N3/094 , G06N3/0455
Abstract: 本发明公开了一种基于特征融合的多层知识蒸馏医学影像生成方法和装置,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后基于特征感知融合构建对抗生成模型,基于多层知识蒸馏使用数据集训练对抗生成模型;再获取训练好的对抗生成模型中训练好的生成器,使用数据集通过评估指标对训练好的生成器的性能进行评估,并根据评估结果进一步调整生成器的参数,以获取最优生成器;最后将源域图像输入最优生成器中以获取生成的目标域图像。本发明能在有限数据的情况下,通过新的数据提取方式可以最大程度上扩充数据库,同时提升图像的生成效果;本发明可以在保留CNN对于局部纹理等信息抓取的优势下,提升对于全局相关性的信息捕获。
-
公开(公告)号:CN115830163A
公开(公告)日:2023-03-21
申请号:CN202211468324.9
申请日:2022-11-22
Applicant: 之江实验室
IPC: G06T11/00 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置,包括:获取对同一部位拍摄的真实CT图像和真实MR图像并构建样本数据,以CycleGAN为基准,通过增加多尺度MR器官区域判别器和/或多尺度MR病灶区域判别器,形成跨模态生成框架;构建损失函数时,增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数,形成跨模态生成框架的总损失函数;利用总损失函数对跨模态生成框架进行参数优化,这样采用由单一判别器到多个不同复杂度的判别器的渐进式对抗生成网络,以确定性引导为目的,专注于器官区域和/或病灶区域等目标区域,生成更高质量的图像。
-
公开(公告)号:CN113643336A
公开(公告)日:2021-11-12
申请号:CN202110844296.5
申请日:2021-07-26
Applicant: 之江实验室
Abstract: 本发明公开了基于球极坐标系深度神经网络的三维图像刚性匹配方法,包括如下步骤:S1,构建球极坐标三维图像;S11,将医学影像的三维直角坐标系转换到球极坐标系;S12,以球极坐标系为轴建立三维直角坐标系;S2,对公开的数据集进行预处理,S3,构建卷积神经网络模型并且基于数据集训练网络模型;S31,构建球极坐标三维卷积神经网络模型,输出得到特定的特征空间;S32,基于数据集训练球极坐标三维卷积神经网络模型;S33,对卷积神经网络输出的角变量特征图做插值处理;S4,评估模型的性能;使用卷积神经网络提取三维医学影像中核磁共振影像的低维配准特征用于快速配准,与传统方法对比,减少了时间成本。
-
公开(公告)号:CN117558414B
公开(公告)日:2024-05-24
申请号:CN202311568414.X
申请日:2023-11-23
Applicant: 之江实验室
IPC: G16H30/20 , G16H30/40 , G06T11/00 , G06T7/11 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种多任务肝细胞癌早期复发预测系统、电子设备、介质,包括:预处理模块、数据增强模块、模型训练模块和复发预测模块,选取训练图像对早期复发预测模型进行训练,训练过程中,使用随机梯度下降算法更新模型参数,得到训练好的多任务肝细胞癌早期复发预测模型;所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型;所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头;所述肿瘤分割分支模型包括编码器、分割适应器和解码器。本发明中适应器充分利用了关联任务的信息,提高了复发预测的精度;本发明提出的适应器即插即用,不会影响模型原有结构。
-
公开(公告)号:CN117576404A
公开(公告)日:2024-02-20
申请号:CN202410052104.0
申请日:2024-01-15
Applicant: 之江实验室
IPC: G06V10/26 , G06V10/44 , G06V10/82 , G06N3/0464 , G06V10/86
Abstract: 本发明公开了一种基于图像大模型微调策略的语义分割系统、方法及装置,在微调过程中,冻结参数量占比最大的图像大模型特征提取模块,微调分支特征提取模块、特征交互模块以及预测模块。同时在分支特征提取模块中,使用多层卷积神经网络类模型,引入多尺度的卷积特征作为空间先验特征,利用卷积的平移不变性、参数共享性和保持空间相关性的特点,弥补了基于自注力机制的特征提取器缺少针对图像的归纳偏置的缺陷,实现较好的语义预测;同时设计特征交互模块,使得图像大模型的主干特征与含有空间先验信息的分支特征充分交互,在不更新主干特征提取器参数的情况下,使得交互后的新特征更加适合下游任务的数据分布,提高模型的性能表现。
-
公开(公告)号:CN116402865B
公开(公告)日:2023-09-15
申请号:CN202310661495.1
申请日:2023-06-06
Applicant: 之江实验室
Abstract: 本发明公开了一种利用扩散模型的多模态影像配准方法、装置和介质,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后构建跨模态的生成网络和可变形配准网络,进一步构建跨模态配准网络模型,并基于数据集对该模型进行训练;再使用数据集通过评估指标对训练好的跨模态配准网络模型的性能进行评估,并根据评估结果进一步调整模型参数,以获取最优跨模态配准网络模型;最后获取最优跨模态配准网络模型中的最优可变形配准网络,将待配准图像输入最优可变形配准网络中以获取配准后的图像。本发明包含了利用扩散思想的无判别器的生成模型,有助于减少生成图像的不一致性和伪影,提高多模态配准的结果,提高生成图像的质量。
-
公开(公告)号:CN116433795B
公开(公告)日:2023-08-29
申请号:CN202310699766.2
申请日:2023-06-14
Applicant: 之江实验室
IPC: G06T11/00 , G06T7/33 , G06N3/0464 , G06N3/0475 , G06N3/048 , G06N3/084
Abstract: 本发明公开了一种基于对抗生成网络的多模态影像生成方法和装置,包括:获取同一目标的第一模态影像和第二模态影像,对第一模态影像进行增强得到两幅增强后模态影像;构建包括生成器和判别器的对抗生成网络,其中,生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像,判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别,判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图;基于两幅中间特征图构建特征之间的对比损失,将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化,提取参数优化的生成器用于多模态影像生成,以提高影像精度。
-
-
-
-
-
-
-
-
-