一种文本指导的自然图像超分辨率重构方法

    公开(公告)号:CN114494007A

    公开(公告)日:2022-05-13

    申请号:CN202011263437.6

    申请日:2020-11-12

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像智能处理技术领域,具体为一种文本指导的自然图像超分辨率重构方法。图像超分辨率重构是指利用算法来恢复丢失的图像像素。自然图像超分辨率重构主要用于提升图像清晰度,改善图像视觉效果,以产生真实、自然的高分辨率图像。本发明方法包括:从文本描述中提取语义特征;结合图像特征和文本语义特征;完善图像细节信息,修复语义不准确的特征;重构高分辨率自然图像。在网络的训练中引入基于语义的判别器、图文匹配损失和文本感知的重构损失来约束图像超分辨率重构模型学习图像超分辨率任务。实验结果表明,本发明可以生成自然美观且符合文本描述的高分辨率图像,有效解决大尺度图像超分辨率重构问题。

    一种基于知识蒸馏的深度学习视频插帧方法

    公开(公告)号:CN112422870B

    公开(公告)日:2021-09-17

    申请号:CN202011263428.7

    申请日:2020-11-12

    Applicant: 复旦大学

    Abstract: 本发明属于数字视频智能处理技术领域,具体为一种基于知识蒸馏的深度学习视频插帧方法。本发明使用参考答案网络和插帧网络,具体步骤包括:将相邻帧和目标帧一起作为输入,训练参考答案网络,首先出估计帧之间的光流,最后通过光流重构目标帧;训练插帧网络,用参考答案网络的光流作为辅助的监督数据,完成蒸馏学习;其中,参考答案模型和插帧模型都包含两个子模块:光流模块和目标帧合成模块;本发明的优势在于训练时不需要昂贵的带有光流标注的数据集,只需要用常见的连续视频数据。实验结果表明,采用本发明的训练方式,插帧模型的性能能够得到明显提升。

    基于自采样相似的多模态协作食管癌病变图像分割系统

    公开(公告)号:CN112884777A

    公开(公告)日:2021-06-01

    申请号:CN202110090738.1

    申请日:2021-01-22

    Applicant: 复旦大学

    Abstract: 本发明属于医学图像智能处理技术领域,具体为一种基于自采样相似的多模态协作食管癌病变图像分割系统。针对早期食管癌诊断,首先构建配对的白光图像和NBI数据集;所述分割系统包括特征提取编码器、自采样相似特征分离模块、特征融合解码器;以白光图像和NBI作为多模态输入,由两个编码器分别提取两种模态的特征;对于每一种模态,自采样相似特征分离模块将病变区域特征与正常区域给予有效区分;解码器在特征域完成多模态特征融合,最终输出两种模态图像的病变分割结果。实验结果表明,本发明可以合理融合不同模态的特征,显著区分病变区域与正常区域,实现病变区域的精准分割,提高临床诊断的效率。

    基于DCNN的癌症全视野数字病理切片生存分析方法

    公开(公告)号:CN112819768A

    公开(公告)日:2021-05-18

    申请号:CN202110104450.5

    申请日:2021-01-26

    Applicant: 复旦大学

    Abstract: 本发明属于医学图像智能处理技术领域,具体为一种基于DCNN的癌症全视野数字病理切片生存分析方法。本发明方法包括,从病理切片中淋巴密集区域、坏死区域、肿瘤区域分别取若干图像块,同切片的全局分割一起送入一个卷积神经网络通过前向传播获得该切片的生存时间分布。可从预测所得生存时间分布中获得患者在若干个时间区间的死亡概率,通过累加可获得患者在若干时间节点前的生存概率。本发明以切片局部的图像以及全局的组织分布作为输入,输出患者的生存时间分布,帮助医生估计患者的预后状况,从而辅助癌症早期临床诊断。

    一种基于知识蒸馏的深度学习视频插帧方法

    公开(公告)号:CN112422870A

    公开(公告)日:2021-02-26

    申请号:CN202011263428.7

    申请日:2020-11-12

    Applicant: 复旦大学

    Abstract: 本发明属于数字视频智能处理技术领域,具体为一种基于知识蒸馏的深度学习视频插帧方法。本发明使用参考答案网络和插帧网络,具体步骤包括:将相邻帧和目标帧一起作为输入,训练参考答案网络,首先出估计帧之间的光流,最后通过光流重构目标帧;训练插帧网络,用参考答案网络的光流作为辅助的监督数据,完成蒸馏学习;其中,参考答案模型和插帧模型都包含两个子模块:光流模块和目标帧合成模块;本发明的优势在于训练时不需要昂贵的带有光流标注的数据集,只需要用常见的连续视频数据。实验结果表明,采用本发明的训练方式,插帧模型的性能能够得到明显提升。

    一种基于轮廓的小样本语义分割方法

    公开(公告)号:CN112419352A

    公开(公告)日:2021-02-26

    申请号:CN202011326151.8

    申请日:2020-11-24

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像智能处理技术领域,具体为一种基于轮廓的小样本语义分割方法。本发明方法包括:利用深度卷积神经网络提取参考图像和待分割图像各自的特征;使用轮廓生成模块生成待分割图像中较粗糙的物体轮廓;使用轮廓优化模块将较粗糙的物体轮廓优化得到更精细的轮廓;使用标签平均池化操作获取参考图像对应的语义原型;使用区域平均池化操作获取待分割图像中轮廓对应物体的语义原型;比对语义原型进而确定是否属于相同的语义类别。实验结果表明,本发明可以生成精确的分割图,有效解决了小样本语义分割问题。

    基于小目标检测神经网络的耳硬化病灶检测及诊断系统

    公开(公告)号:CN112419248A

    公开(公告)日:2021-02-26

    申请号:CN202011263682.7

    申请日:2020-11-13

    Applicant: 复旦大学

    Abstract: 本发明属于医学图像处理技术领域,具体为基于小目标检测神经网络的耳硬化病灶检测及诊断系统。系统包括特征提取主干网络、目标检测与分类网络、对噪声鲁棒的分类损失函数和对多层检测结果的后处理诊断系统;特征提取主干网络为多层次的深度卷积神经网络,用于提取图像的特征图;目标检测与分类网络包括上述特征提取主干网络和区域提取网络、感兴趣区域池化层、分类网络,得到区域的类别;噪声鲁棒分类损失函数结合交叉熵损失和平均绝对误差损失,受训练数据中的错误标注的影响较小;本发明将3D的颞骨CT图像分层输入网络模型,经过一次前向传播以及后处理,即可获得病灶检测及诊断结果。本发明可减少人为因素影响,提高临床诊断效率和准确率。

    一种基于颞骨CT平扫影像的左右耳区域分割方法

    公开(公告)号:CN111354004A

    公开(公告)日:2020-06-30

    申请号:CN202010124604.2

    申请日:2020-02-27

    Applicant: 复旦大学

    Abstract: 本发明属于医疗图像处理技术领域,具体为一种基于颞骨CT平扫影像的左右耳区域分割方法。该算法用于对头部颞骨CT影像中的左、右耳部区域进行分割,使得计算机能够集中地对耳部区域进行后续的处理。本发明依次包括以下步骤:对头部CT图像的无效区域进行剔除;按照比例将图像中的左、右耳区域分别裁出;将左、右耳区图像分别整理保存。实验结果表明,对于平扫的颞骨CT图像,本方法可以剔除无效的黑色区域,抛弃其他无关部位的信息,准确地提取左右耳区域。

    一种提高视频空间分辨率的方法

    公开(公告)号:CN108989731A

    公开(公告)日:2018-12-11

    申请号:CN201810904777.9

    申请日:2018-08-09

    Applicant: 复旦大学

    Abstract: 本发明属于视频编辑技术领域,具体为一种提高视频空间分辨率的方法。本发明步骤包括:局部帧及局部特征的提取:将多帧相邻视频帧输入到局部网络NETL中,利用帧间的局部信息学习出局部重构帧SRtLocal及该帧的特征FtLocal;重构当前帧:将学到的局部帧和相邻的前一帧SRt-1重构后的视频帧输入到内容网络NETC中,重构当前帧。本发明不仅充分利用多个相邻低分辨率视频帧之间的关联性,还结合前一帧超分重构后的视频帧来恢复当前视频帧的高频内容。实验结果表明,本方法可较好地保持重构视频的时间连贯性,恢复出丰富的视频细节纹理,提升视频的清晰度视觉质量,同时还达到实时处理的速度,具有较高的应用价值。

Patent Agency Ranking