一种医学图像文本对齐模型的训练方法、装置及设备

    公开(公告)号:CN118411504A

    公开(公告)日:2024-07-30

    申请号:CN202410505959.4

    申请日:2024-04-25

    Abstract: 本发明属于医学数据处理领域,具体涉及一种医学图像文本对齐模型的训练方法、装置及设备;所述方法包括获取医学图像、增强视图、医学文本和增强文本;采用图像编码器提取图像特征,采用文本编码器提取文本特征;利用多视图监督图像文本对齐获得更为详尽的医学图像和医学文本表征;利用多尺度自注意力与交叉注意力集成对齐策略能在无需外部信息的情况下,通过内部特征的关联性来理解每个模态的上下文信息,还能够学习到跨模态的信息。利用高置信度聚类信息引导正负样本构建算法能够深入挖掘高阶语义信息,使得预训练完成后的模型能够用于医学图像和其成对的医学报告之间精准的配对能力,以及对图像中病灶区域的精准定位能力,辅助医疗病情诊断。

    一种运用基于三重重参数化的Re3Adapter模块进行参数高效迁移学习的方法

    公开(公告)号:CN117496215A

    公开(公告)日:2024-02-02

    申请号:CN202311229276.2

    申请日:2023-09-21

    Abstract: 本发明公开一种运用基于三重重参数化的Re3Adapter模块进行参数高效迁移学习的方法,在预处理阶段,通过预训练的ViT‑B/16,ConvNeXt等公开模型作为基础模型;采用重参数化来代替Adapter中的激活函数来引入非线性,整个过程中的非线性通过采样实现,让改进后的Adapter成为完全可重参数化的结构;利用训练时重参数化来改进Adapter中的单层线性层,提升Adapter的表征能力。本发明通过重参数化转移Adapter中非线性的方法,并结合训练时重参数化来加强MLP的表征能力,随后使用结构重参数化将训练好的Adapter任何到骨架网络中从而产生零推理延迟的参数高效的迁移学习的方法。

    一种基于特征解耦的多模态脑肿瘤MRI分割方法

    公开(公告)号:CN116310343A

    公开(公告)日:2023-06-23

    申请号:CN202310332485.3

    申请日:2023-03-29

    Abstract: 本发明涉及一种基于特征解耦的多模态脑肿瘤MRI分割方法,引入深监督机制对多模态脑肿瘤MRI图像的深层特征进行提取,同时采用注意力融合机制的网络提取区分性的特征,利用辅助枝干网络解耦特征并充分提取分割部位特征,同时构建动态特征库,引入无监督的聚类算法增强特征,提升模态数据不完整情况下的分割精度,拓展了网络模型在多模态数据中的适用性、泛化性,本发明能够自适应的处理脑肿瘤MRI不同模态的图像间对应关系,提升深度模型在模态数据不完整情况下的分割效果。

    一种基于局部视觉线索的髋关节X光图像分割方法及系统

    公开(公告)号:CN110490880A

    公开(公告)日:2019-11-22

    申请号:CN201910757166.0

    申请日:2019-08-16

    Abstract: 本发明涉及一种基于局部视觉线索的髋关节X光图像分割方法及系统,所述方法包括:对数据集中的图像数据进行预处理,学习标准U-net网络的第一层卷积块特征,使用Sobel算子得到粗糙标签,通过第一卷积块特征和粗糙标签提取局部视觉线索LVC,用LVC结合S-loss损失函数指导U-net网络输出初步分割结果图,利用LVC生成LVC局部视觉指导,并与初步分割结果图通过可变形的空间变换网络,输出采样偏移场,将初步分割结果图进行重采样得到图像的最终分割结果;本发明解决医学图像分割过程中监督学习模型容易受到标签噪声的影响的问题,降低医学图像标签生成的复杂度。

    一种基于视觉辅助和特征增强的三维点云语义分割方法及系统

    公开(公告)号:CN116229079B

    公开(公告)日:2025-05-06

    申请号:CN202310324023.7

    申请日:2023-03-30

    Abstract: 本发明属于计算机视觉图形学领域,具体涉及一种基于视觉辅助和特征增强的三维点云语义分割方法及系统,所述方法包括构建三维点云语义分割深度学习模型并训练,将待分割三维点云数据输入训练好的点云语义分割模型,通过设计一个重建辅助网络来显式地提取视觉颜色特征,并在主干分割网络中引入通道注意力机制以充分地加以利用,同时在解码层中构建点特征增强模块,以进一步提高模型在不同语义类边界处的点的分割能力;本发明能够对点的局部邻域进行有效的聚合,提升深度学习模型对三维点云语义分割的效果,促进了相关技术领域的发展。

    一种基于多领域半监督的医学图像分割方法

    公开(公告)号:CN115861164B

    公开(公告)日:2025-04-08

    申请号:CN202211130790.6

    申请日:2022-09-16

    Abstract: 本发明属于计算机视觉与医学影像融合领域,具体涉及一种基于多领域半监督的医学图像分割方法,包括:构建半监督教师学生分割模型并训练,将待分割的异化领域数据输入训练好的分割模型,得到分割结果;本发明教师学生网络挖掘大量无标签的多领域医学图像的高级语义特征,采用自注意力解纠缠机制的网络提取领域特征以及分割部位特征,使用领域特征相似筛选机制和多领域高级语义对比损失函数进行鲁棒学习,引入指数滑动平均算法,使得学生模型异构为教师模型,在师生一致性约束下的像素级别勘误方案,提升了分割的精度、拓展了多领域的适用性、泛化性,提升深度模型对图像分割的效果,促进了相关技术领域的发展。

    一种基于先验知识增强掩码与对齐建模的医学图像分类方法

    公开(公告)号:CN119399523A

    公开(公告)日:2025-02-07

    申请号:CN202411443498.9

    申请日:2024-10-16

    Abstract: 本发明属于计算机视觉技术领域,具体涉及一种基于先验知识增强掩码与对齐建模的医学图像分类方法;包括:获取图像文本对数据集并对其进行预处理,得到预处理好的图像文本对数据集;根据预处理好的图像文本对数据集对视觉编码器和文本编码器进行初步训练,得到初步训练好的视觉编码器和文本编码器;结合文本编码器对视觉编码器进行第二次训练,得到训练好的视觉编码器;采用训练好的视觉编码器实现对医学图像的分类;本发明提出的模型能够更好地泛化到各种下游医学图像识别任务上,提高下游医学图像识别任务的准确度。

    一种基于域对抗的跨模态医学图像配准方法

    公开(公告)号:CN118261781A

    公开(公告)日:2024-06-28

    申请号:CN202410206205.9

    申请日:2024-02-26

    Abstract: 本发明涉及一种基于域对抗的跨模态医学图像配准方法,包括:将固定图像和移动图像输入双路编码器进行特征提取;根据固定图像特征和移动图像特征利用域判别器预测固定图像和移动图像分类到各个域的概率,并根据固定图像和移动图像分类到各个域的概率构建交叉熵损失函数;根据固定图像特征和移动图像特征利用形变场生成器生成形变场,根据形变场构建平滑损失函数;利用空间变换器将形变场添加到移动图像上,使移动图像的体素按照形变场来进行空间位移得到配准后的扭曲图像;根据配准后的扭曲图像和固定图像构建相似度损失函数,根据交叉熵损失函数、平滑损失函数和相似度损失函数构建网络的总损失函数对网络的参数进行更新。

    一种大模型高效调优的任意形状智能分割算法

    公开(公告)号:CN117496135A

    公开(公告)日:2024-02-02

    申请号:CN202311225956.7

    申请日:2023-09-21

    Abstract: 本发明公开了一种大模型高效调优的任意形状智能分割算法,使用循环先验知识嵌入模块,根据模型先验知识的理解,能够有效生成可调视觉提示,自适应的改变图像语义。使用语义相关适配器能够同时调优ViT模块中冻结的多头注意力层和前向传播层,可以更好的利用适配器增加的小部分参数,达到高效调优的目的。使用任务判别投影层聚合ViT主干中不同阶段的深浅特征,学习特定任务的判别特征,最终通过任务头得到高质量分割掩码。经过实验表明,本发明的模型可训练参数量只有总参数量的7%,且在心脏数据集上的分割结果分数达到91.48%。

    一种基于对偶分支联合矫正的手势识别方法

    公开(公告)号:CN117351568A

    公开(公告)日:2024-01-05

    申请号:CN202311389213.3

    申请日:2023-10-24

    Abstract: 本发明属于图像识别技术领域,具体涉及一种基于对偶分支联合矫正的手势识别方法;包括:采用卷积层对手势图像数据进行下采样,得到中间特征;将中间特征输入到学习网络中进行处理,得到第一手势识别预测结果;计算交叉熵损失;将数据扩充后的手势图像输入到引导网络中进行处理,得到第二手势识别预测结果;引导网络通过指数平滑平均调整参数;根据第一、第二手势识别预测结果以及交叉熵损失计算模型总损失并调整学习网络参数,得到训练好的对偶分支联合矫正的半监督手势识别模型;获取手势雷达数据并根据手势雷达数据生成手势图像数据;将手势图像数据输入到训练好的识别模型中进行处理,得到手势识别结果;本发明手势识别准确率高。

Patent Agency Ranking