公开(公告)号：CN119228692B

公开(公告)日：2025-03-14

申请号：CN202411270787.3

申请日：2024-09-11

Applicant: 兰州交通大学

Inventor： 张继保 ,  廉敬 ,  高德成 ,  郑礼 ,  张家骏 ,  侯雨彤 ,  贾荣荣

IPC: G06T5/77 ,  G06T5/70 ,  G06T5/50 ,  G06N3/047 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/094

Abstract: 本发明公开了基于对抗扩散模型和特征融合模块的敦煌壁画数字化修复方法，涉及图像修复技术领域，该方法在壁画图像去噪预处理任务完成后，使用自行设计的对抗扩散模型，在不同时间步上优化预测的结果，增强遮蔽和未遮蔽区域间的语义一致性，并添加变分transformer层(VTL)，确保去噪图像和预测结果在结构语义上保持一致；再利用自行设计的多尺度特征聚合模块(MCFA)，编码多个尺度上的丰富语义特征，增强壁画上下文之间的相关性，重建出贴合原始内容与风格的壁画。

公开(公告)号：CN116523985B

公开(公告)日：2024-01-02

申请号：CN202310501736.6

申请日：2023-05-06

Applicant: 兰州交通大学

Inventor： 张家骏 ,  廉敬 ,  刘津颖 ,  刘冀钊 ,  张怀堃 ,  董子龙 ,  郑礼 ,  汤春阳

IPC: G06T7/40 ,  G06T5/00 ,  G06T5/50 ,  G06V10/80 ,  G06V10/82 ,  G06V10/75 ,  G06V10/54 ,  G06N3/0455 ,  G06N3/045

Abstract: 本发明公开了一种结构和纹理特征引导的双编码器图像修复方法，属于图像修复技术领域，本发明提出一种由结构特征和纹理特征引导的双编码器粗修复网络和基于长短期注意力机制、多尺度感受野的细修复网络，实现了对视野缺损图像结构和纹理的联合修复。

公开(公告)号：CN117575955A

公开(公告)日：2024-02-20

申请号：CN202311331161.4

申请日：2023-10-16

Applicant: 兰州交通大学

Inventor： 廉敬 ,  张家骏 ,  刘津颖 ,  刘冀钊 ,  董子龙 ,  张怀堃

IPC: G06T5/77 ,  G06T5/60 ,  G06N3/0442 ,  G06N3/0455

Abstract: 本发明提供了一种利用图像结构特征指导图像修复的方法。本发明采用辅助网络和修复网络两种网络单阶段并行设计，图像的结构指导信息不作为次级阶段网络的输入而是在图像修复过程中进行实时指导和监督，图像修复结果与结构指导信息之间的依赖性较低，图像修复结果的准确性不会因为图像结构存在噪声或模糊而受到影响。

公开(公告)号：CN117316369A

公开(公告)日：2023-12-29

申请号：CN202311070565.2

申请日：2023-08-24

Applicant: 兰州交通大学

Inventor： 马元琳 ,  王向红 ,  董子龙 ,  牛小娇 ,  廉敬 ,  刘冀钊 ,  张家骏 ,  汤春阳

IPC: G16H15/00 ,  G16H30/40 ,  G06F40/30 ,  G06F16/36 ,  G06V10/80 ,  G06V10/52 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/092 ,  G06N5/022

Abstract: 本发明提供平衡跨模态信息的胸部影像诊断报告自动生成方法，涉及医疗信息领域。该网络通过优化编码器‑解码器框架，充分考虑了图像和文本之间的联系，在编码时，该网络的侧重点在图像特征处理，通过DFC‑MSPCNN和多感受野残差网络病灶区域信息提取模块对X射线影像区域进行多维特征提取；在解码时，该网络的侧重点在医学报告生成，通过图像文本对齐模块CMITAM寻找图像和文本之间的中间态，并将此中间态引入基于Transformer解码层的报告生成模块，在IUX‑Ray和MIMIC‑CXR基准数据集上进行其有效性验证，结果表明，本文方法在平衡胸部影像与文本信息方面有出色的表现，能够自动生成可靠的胸部X射线影像诊断报告。

公开(公告)号：CN117314778A

公开(公告)日：2023-12-29

申请号：CN202311271193.X

申请日：2023-09-28

Applicant: 兰州交通大学

Inventor： 张继保 ,  廉敬 ,  高德成 ,  郑礼 ,  张家骏 ,  杨宏元 ,  刘冀钊

IPC: G06T5/00 ,  G06V10/40 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/047 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种引入文本特征的图像修复方法，属于图像修复方法技术领域，本发明提出一种引入文本特征和图像修复方法，是基于图像可见部分额外利用文本特征来指导图像的修复，属于文本和图像之间学习、关联或转换的跨模态任务，首先，给定一个孔洞图像Im和其对应的掩码图Imask，将其输入到修复网络的编码层进行特征表示，这些特征可以捕获到图像的纹理、结构和上下文信息，将编码层提取到的特征调整到相同的维度后融合，通过GPT‑2输出真实图像Igt的文本特征。

公开(公告)号：CN119228692A

公开(公告)日：2024-12-31

申请号：CN202411270787.3

申请日：2024-09-11

Applicant: 兰州交通大学

Inventor： 张继保 ,  廉敬 ,  高德成 ,  郑礼 ,  张家骏 ,  侯雨彤 ,  贾荣荣

IPC: G06T5/77 ,  G06T5/70 ,  G06T5/50 ,  G06N3/047 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/094

Abstract: 本发明公开了基于对抗扩散模型和特征融合模块的敦煌壁画数字化修复方法，涉及图像修复技术领域，该方法在壁画图像去噪预处理任务完成后，使用自行设计的对抗扩散模型，在不同时间步上优化预测的结果，增强遮蔽和未遮蔽区域间的语义一致性，并添加变分transformer层(VTL)，确保去噪图像和预测结果在结构语义上保持一致；再利用自行设计的多尺度特征聚合模块(MCFA)，编码多个尺度上的丰富语义特征，增强壁画上下文之间的相关性，重建出贴合原始内容与风格的壁画。

公开(公告)号：CN117558394B

公开(公告)日：2024-06-25

申请号：CN202311271188.9

申请日：2023-09-28

Applicant: 兰州交通大学

Inventor： 董子龙 ,  廉敬 ,  石斌 ,  刘冀钊 ,  张家骏 ,  张怀堃

IPC: G16H15/00 ,  G06V10/20 ,  G06V10/32 ,  G06V10/44 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048 ,  G06V10/25 ,  G06F18/22 ,  G06N3/0455 ,  G06V10/764 ,  G06F40/289 ,  G06F16/36 ,  G06N3/0442 ,  G06N3/096

Abstract: 本发明公开了一种基于跨模态网络的胸部X线影像报告生成方法，属于影像报告技术领域，本发明提出一种跨模态辅助网络(CMLRAN)，引入注意力机制分别处理图像和文本信息，并以记忆存储响应矩阵(MSRM)为基础，结合OpenAI提出的CLIP来增强图像和文本的信息关联。编码时侧重于X射线影像细粒度差异的分类；解码时侧重于医学专业名词的生成。该方法能够较好解决语义鸿沟等问题，智能生成胸部X线影像报告。

公开(公告)号：CN117316369B

公开(公告)日：2024-05-07

申请号：CN202311070565.2

申请日：2023-08-24

Applicant: 兰州交通大学

Inventor： 马元琳 ,  王向红 ,  董子龙 ,  牛小娇 ,  廉敬 ,  刘冀钊 ,  张家骏 ,  汤春阳

IPC: G16H15/00 ,  G16H30/40 ,  G06F40/30 ,  G06F16/36 ,  G06V10/80 ,  G06V10/52 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/092 ,  G06N5/022

Abstract: 本发明提供平衡跨模态信息的胸部影像诊断报告自动生成方法，涉及医疗信息领域。该网络通过优化编码器‑解码器框架，充分考虑了图像和文本之间的联系，在编码时，该网络的侧重点在图像特征处理，通过DFC‑MSPCNN和多感受野残差网络病灶区域信息提取模块对X射线影像区域进行多维特征提取；在解码时，该网络的侧重点在医学报告生成，通过图像文本对齐模块CMITAM寻找图像和文本之间的中间态，并将此中间态引入基于Transformer解码层的报告生成模块，在IUX‑Ray和MIMIC‑CXR基准数据集上进行其有效性验证，结果表明，本文方法在平衡胸部影像与文本信息方面有出色的表现，能够自动生成可靠的胸部X射线影像诊断报告。

公开(公告)号：CN117196981B

公开(公告)日：2024-04-26

申请号：CN202311153943.3

申请日：2023-09-08

Applicant: 兰州交通大学

Inventor： 张继保 ,  廉敬 ,  高德成 ,  郑礼 ,  张家骏 ,  刘冀钊 ,  董子龙

IPC: G06T5/77 ,  G06T5/50 ,  G06T7/40 ,  G06T5/70 ,  G06T5/73 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供一种基于纹理和结构调和的双向信息流方法，涉及图像修复技术领域。本发明提出一种基于纹理和结构调和的双向信息流方法，该网络对纹理和结构特征赋予不同的权重，通过调和特征权重避免图像重建过程中对纹理或结构特征的单一依赖，使特征相互感知，相互引导以生成在整体上令人信服的填充内容。

公开(公告)号：CN116779091B

公开(公告)日：2024-02-27

申请号：CN202310710730.X

申请日：2023-06-15

Applicant: 兰州交通大学

Inventor： 廉敬 ,  董子龙 ,  石斌 ,  刘冀钊 ,  张家骏 ,  张怀堃

IPC: G16H15/00 ,  G16H30/40 ,  G06T7/00 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/096

Abstract: 本发明提供了一种多模态网络互联融合的胸部影像诊断报告自动生成方法，涉及医疗信息领域。本发明提出了一种基于残差网络(Resnet)、注意力机制(Transformer)模块的网络、跨模态强化记忆网络(DCTMN)的多模态网络互联融合医学报告自动生成方法，关照和融通上述两个发力点，促进跨模态(医学影像和对应报告文本)信息的交互与匹配，自动生成图像与文本信息有效融合的医学影像诊断报告。(56)对比文件柯艺雅 等.基于深度学习的多模态骨癌影像分类诊断系统研究《.信息与电脑(理论版)》.2021,第33卷(第06期),136-138.郭淑涛.一种基于深度学习的中文图像描述模型《.天津理工大学学报》.2020,(第03期),30-35.Ketki Gupte 等.Multimodal ProductMatching and Category Mapping: Text+Imagebased Deep Neural Network《.2021 IEEEInternational Conference on Big Data (BigData)》.2022,4500-4505.