-
公开(公告)号：CN118916842B
公开(公告)日：2025-03-11
申请号：CN202411412220.5
申请日：2024-10-11
Applicant: 之江实验室
Abstract: 本发明公开了基于知识蒸馏的缺失多模态数据动态融合方法、系统及装置，基于分类网络构建多个单模态教师模型，通过每种单个模态数据对分类网络分别训练，得到对应的单模态教师模型；基于门限网络和一系列专家网络构建多模态动态融合网络，门限网络用于决定哪些专家网络被激活，输出一个one‑hot的向量，向量的长度为专家网络的个数，每个专家网络使用的数据是多个模态的子集进行特征融合，通过包含完整模态的数据训练完成后的多模态动态融合网络作为学生模型；利用教师模型对学生模型进行蒸馏训练，将实际获取的多模态数据输入到多模态动态融合网络，得到类别预测结果。本发明能够提高数据的有效利用率并提高多模态模型的预测准确性。
-
公开(公告)号：CN118644477A
公开(公告)日：2024-09-13
申请号：CN202411104179.5
申请日：2024-08-13
Applicant: 之江实验室
IPC: G06T7/00 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0464
Abstract: 本申请涉及一种组织状态分析系统。所述组织状态分析系统包括图像分割模块，用于对预设区域内第一切片图像与第二切片图像进行图像分割，分别得到多个第一小块图像和多个第二小块图像；特征提取模块，用于分别对多个所述第一小块图像进行图像特征提取，得到图像特征；分别对多个所述第二小块图像进行结构特征提取，得到结构特征；超图构建模块，用于分别基于所述图像特征和所述结构特征，得到第一超图和第二超图；特征融合模块，用于对所述第一超图和所述第二超图进行多尺度融合，得到多尺度融合特征；结果预测模块，用于基于所述多尺度融合特征，得到组织状态分析结果。采用本方法能够提高辅助预测准确率。
-
公开(公告)号：CN116385330B
公开(公告)日：2023-09-15
申请号：CN202310661539.0
申请日：2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06N3/0475 , G06N3/094
Abstract: 本发明公开了一种利用图知识引导的多模态医学影像生成方法和装置，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后利用图知识引导构建基于对抗生成网络的对抗生成模型，使用训练集训练对抗生成模型；再获取训练好的对抗生成模型中训练好的生成器，使用验证集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果对生成器的参数进行调整，以获取最优生成器；最后将源域图像或测试集中的源域图像输入最优生成器中以获取生成的目标域图像。本发明能够捕获到跨区域和跨图像关系作为上下文和补偿信息，约束对抗的方向，进一步提升多模态生成的结果，有利于提高生成图像的质量。
-
公开(公告)号：CN116385329B
公开(公告)日：2023-08-29
申请号：CN202310661464.6
申请日：2023-06-06
Applicant: 之江实验室
IPC: G06T5/50 , G06T7/00 , G06N3/0475 , G06N3/0464 , G06N3/094 , G06N3/0455
Abstract: 本发明公开了一种基于特征融合的多层知识蒸馏医学影像生成方法和装置，该方法首先获取MR图像和CT图像并进行预处理，以构建数据集；然后基于特征感知融合构建对抗生成模型，基于多层知识蒸馏使用数据集训练对抗生成模型；再获取训练好的对抗生成模型中训练好的生成器，使用数据集通过评估指标对训练好的生成器的性能进行评估，并根据评估结果进一步调整生成器的参数，以获取最优生成器；最后将源域图像输入最优生成器中以获取生成的目标域图像。本发明能在有限数据的情况下，通过新的数据提取方式可以最大程度上扩充数据库，同时提升图像的生成效果；本发明可以在保留CNN对于局部纹理等信息抓取的优势下，提升对于全局相关性的信息捕获。
-
-
-
Search Results
14
records
(took 0.027 seconds)
