-
公开(公告)号:CN112102317B
公开(公告)日:2021-03-02
申请号:CN202011268110.8
申请日:2020-11-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于无锚框的多期相肝脏病灶检测方法及系统,本发明首次使用无锚框方法进行多期相肝脏病灶的检测,避免参数的手工调节问题,极大提升检测效率;本发明提出全尺度连接循环深层聚合检测网络,通过该网络可以充分结合浅层、深层特征,同时保留浅层特征信息,提升网络对病灶多尺度特征的学习能力;本发明提出循环特征连接模块,通过该模块可以结合多期相每个尺度的特征,提取该尺度多期相动态变化模式,进一步提升多期相图像中对病灶的检测能力。
-
公开(公告)号:CN117558414B
公开(公告)日:2024-05-24
申请号:CN202311568414.X
申请日:2023-11-23
Applicant: 之江实验室
IPC: G16H30/20 , G16H30/40 , G06T11/00 , G06T7/11 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种多任务肝细胞癌早期复发预测系统、电子设备、介质,包括:预处理模块、数据增强模块、模型训练模块和复发预测模块,选取训练图像对早期复发预测模型进行训练,训练过程中,使用随机梯度下降算法更新模型参数,得到训练好的多任务肝细胞癌早期复发预测模型;所述早期复发预测模型包括早期复发预测分支模型和肿瘤分割分支模型;所述早期复发预测分支模型包括分类网络、分类适应器、全连接层和投影头;所述肿瘤分割分支模型包括编码器、分割适应器和解码器。本发明中适应器充分利用了关联任务的信息,提高了复发预测的精度;本发明提出的适应器即插即用,不会影响模型原有结构。
-
公开(公告)号:CN117576404A
公开(公告)日:2024-02-20
申请号:CN202410052104.0
申请日:2024-01-15
Applicant: 之江实验室
IPC: G06V10/26 , G06V10/44 , G06V10/82 , G06N3/0464 , G06V10/86
Abstract: 本发明公开了一种基于图像大模型微调策略的语义分割系统、方法及装置,在微调过程中,冻结参数量占比最大的图像大模型特征提取模块,微调分支特征提取模块、特征交互模块以及预测模块。同时在分支特征提取模块中,使用多层卷积神经网络类模型,引入多尺度的卷积特征作为空间先验特征,利用卷积的平移不变性、参数共享性和保持空间相关性的特点,弥补了基于自注力机制的特征提取器缺少针对图像的归纳偏置的缺陷,实现较好的语义预测;同时设计特征交互模块,使得图像大模型的主干特征与含有空间先验信息的分支特征充分交互,在不更新主干特征提取器参数的情况下,使得交互后的新特征更加适合下游任务的数据分布,提高模型的性能表现。
-
公开(公告)号:CN116402865B
公开(公告)日:2023-09-15
申请号:CN202310661495.1
申请日:2023-06-06
Applicant: 之江实验室
Abstract: 本发明公开了一种利用扩散模型的多模态影像配准方法、装置和介质,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后构建跨模态的生成网络和可变形配准网络,进一步构建跨模态配准网络模型,并基于数据集对该模型进行训练;再使用数据集通过评估指标对训练好的跨模态配准网络模型的性能进行评估,并根据评估结果进一步调整模型参数,以获取最优跨模态配准网络模型;最后获取最优跨模态配准网络模型中的最优可变形配准网络,将待配准图像输入最优可变形配准网络中以获取配准后的图像。本发明包含了利用扩散思想的无判别器的生成模型,有助于减少生成图像的不一致性和伪影,提高多模态配准的结果,提高生成图像的质量。
-
公开(公告)号:CN116433795B
公开(公告)日:2023-08-29
申请号:CN202310699766.2
申请日:2023-06-14
Applicant: 之江实验室
IPC: G06T11/00 , G06T7/33 , G06N3/0464 , G06N3/0475 , G06N3/048 , G06N3/084
Abstract: 本发明公开了一种基于对抗生成网络的多模态影像生成方法和装置,包括:获取同一目标的第一模态影像和第二模态影像,对第一模态影像进行增强得到两幅增强后模态影像;构建包括生成器和判别器的对抗生成网络,其中,生成器基于第一模态影像及其两幅增强后模态影像生成三幅预测第二模态影像,判别器对第二模态影像和第一模态影像对应的预测第二模态影像进行真伪区分判别,判别器还计算输出两幅增强后模态影像对应的两幅预测第二模态影像在判别器中间层的两幅中间特征图;基于两幅中间特征图构建特征之间的对比损失,将对比损失结合对抗生成网络的原有损失对对抗生成网络进行参数优化,提取参数优化的生成器用于多模态影像生成,以提高影像精度。
-
公开(公告)号:CN116580067A
公开(公告)日:2023-08-11
申请号:CN202211600322.0
申请日:2022-12-13
Applicant: 之江实验室
IPC: G06T7/30 , G06N3/0464 , G06N3/08 , G06V10/82 , G06V10/80
Abstract: 本发明公开了一种基于三维轻量化卷积神经网络的医学图像配准方法及装置,该方法将待配准的三维医学图像与目标三维医学图像输入到三维轻量化卷积神经网络中,将原图像拆分成尺寸较小的三维图像后,构建基于跨通道低维卷积核的轻量化特征融合模块并将其作为基本处理单元嵌入到基于三维残差密集连接结构的骨干网络中,让该网络学习输入图像之间的变形场实现三维图像配准。本发明使用高精度的三维残差密集网络与高效率的轻量化特征融合模块,依靠少量参数实现快速准确的三维医学图像配准,可有效降低对于医学图像的数据量的需求和实际测试时所需时间成本。
-
公开(公告)号:CN116385330A
公开(公告)日:2023-07-04
申请号:CN202310661539.0
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种利用图知识引导的多模态医学影像生成方法和装置,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后利用图知识引导构建基于对抗生成网络的对抗生成模型,使用训练集训练对抗生成模型;再获取训练好的对抗生成模型中训练好的生成器,使用验证集通过评估指标对训练好的生成器的性能进行评估,并根据评估结果对生成器的参数进行调整,以获取最优生成器;最后将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。本发明能够捕获到跨区域和跨图像关系作为上下文和补偿信息,约束对抗的方向,进一步提升多模态生成的结果,有利于提高生成图像的质量。
-
公开(公告)号:CN116385329A
公开(公告)日:2023-07-04
申请号:CN202310661464.6
申请日:2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06T7/00 , G06N3/0475 , G06N3/0464 , G06N3/094 , G06N3/0455
Abstract: 本发明公开了一种基于特征融合的多层知识蒸馏医学影像生成方法和装置,该方法首先获取MR图像和CT图像并进行预处理,以构建数据集;然后基于特征感知融合构建对抗生成模型,基于多层知识蒸馏使用数据集训练对抗生成模型;再获取训练好的对抗生成模型中训练好的生成器,使用数据集通过评估指标对训练好的生成器的性能进行评估,并根据评估结果进一步调整生成器的参数,以获取最优生成器;最后将源域图像输入最优生成器中以获取生成的目标域图像。本发明能在有限数据的情况下,通过新的数据提取方式可以最大程度上扩充数据库,同时提升图像的生成效果;本发明可以在保留CNN对于局部纹理等信息抓取的优势下,提升对于全局相关性的信息捕获。
-
公开(公告)号:CN115830163A
公开(公告)日:2023-03-21
申请号:CN202211468324.9
申请日:2022-11-22
Applicant: 之江实验室
IPC: G06T11/00 , G06N3/045 , G06N3/0464 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种基于深度学习的确定性引导的渐进式医学图像跨模态生成方法和装置,包括:获取对同一部位拍摄的真实CT图像和真实MR图像并构建样本数据,以CycleGAN为基准,通过增加多尺度MR器官区域判别器和/或多尺度MR病灶区域判别器,形成跨模态生成框架;构建损失函数时,增加基于MR器官区域的对抗损失函数和/或基于MR病灶区域的对抗损失函数,形成跨模态生成框架的总损失函数;利用总损失函数对跨模态生成框架进行参数优化,这样采用由单一判别器到多个不同复杂度的判别器的渐进式对抗生成网络,以确定性引导为目的,专注于器官区域和/或病灶区域等目标区域,生成更高质量的图像。
-
公开(公告)号:CN113159007A
公开(公告)日:2021-07-23
申请号:CN202110704535.7
申请日:2021-06-24
Applicant: 之江实验室
Abstract: 本发明公开了一种基于自适应图卷积的步态情感识别方法,首先获取人体关节点按照时间顺序排列的坐标序列;然后构建自适应图卷积网络,图卷积块是以时空图卷积为基础模块,结合了自适应图的构建方法,形成新的图结构,并以此图结构生成邻接矩阵从而进行自适应图卷积操作;最后将获得的坐标序列输入到网络中,经过三个依次连接自适应图卷积块提取到的特征,再经过全局平均池化和全连接操作得到情感识别的初步结果,最后通过Softmax函数得到各类情感的预测分值,分值最高的即为该步态的情感识别结果。本发明将手工设计的固定的图结构和可训练链接通过网络训练得到的非固定的图结构相结合,保留双方优势,互为补充,使得网络对于情感识别的性能明显提升。
-
-
-
-
-
-
-
-
-