一种多模态网络互联融合的胸部影像诊断报告自动生成方法

    公开(公告)号:CN116779091B

    公开(公告)日:2024-02-27

    申请号:CN202310710730.X

    申请日:2023-06-15

    Abstract: 本发明提供了一种多模态网络互联融合的胸部影像诊断报告自动生成方法,涉及医疗信息领域。本发明提出了一种基于残差网络(Resnet)、注意力机制(Transformer)模块的网络、跨模态强化记忆网络(DCTMN)的多模态网络互联融合医学报告自动生成方法,关照和融通上述两个发力点,促进跨模态(医学影像和对应报告文本)信息的交互与匹配,自动生成图像与文本信息有效融合的医学影像诊断报告。(56)对比文件柯艺雅 等.基于深度学习的多模态骨癌影像分类诊断系统研究《.信息与电脑(理论版)》.2021,第33卷(第06期),136-138.郭淑涛.一种基于深度学习的中文图像描述模型《.天津理工大学学报》.2020,(第03期),30-35.Ketki Gupte 等.Multimodal ProductMatching and Category Mapping: Text+Imagebased Deep Neural Network《.2021 IEEEInternational Conference on Big Data (BigData)》.2022,4500-4505.

    一种将重建和修复联合并行的结构指导图像修复方法

    公开(公告)号:CN117437156A

    公开(公告)日:2024-01-23

    申请号:CN202311292134.0

    申请日:2023-10-08

    Abstract: 本发明公开了一种将重建和修复联合并行的结构指导图像修复方法,属于图像修复技术领域,本发明基于深度学习机制,提出一种图像平滑结构指导图像修复的网络,网络由图像平滑结构提取网络Ns和图像修复网络Ninp并行组成,其中Ns网络由膨胀卷积组成,Ninp网络由残差门卷积组成。图像平滑结构的生成内容不直接作为下一级网络的输入,只为网络的解码层提供指导信息,该网络能够避免训练过程中错误信息的累积和传播,降低网络的复杂度和训练难度,不同于之前先重建结构再重建图像的方法,而是结构与图像重建同步进行,使得图像修复结果不再依赖图像结构信息,也不会因为图像结构中存在噪声或模糊而受到影响。能够更有效地恢复图像缺损内容。

Patent Agency Ranking