-
公开(公告)号:CN114708586B
公开(公告)日:2025-05-09
申请号:CN202210427450.3
申请日:2022-04-21
Applicant: 复旦大学
IPC: G06V40/16 , G06V10/82 , G06N3/088 , G06N3/0455 , G06N3/0464 , G06N3/0475
Abstract: 本发明属于图像与视频理解技术领域,具体为一种从图像和视频中提取三维人脸表征的方法。本发明通过构建一个三维无监督人脸表征学习网络模型来提取三维人脸表征;本发明从没有标签的自然人脸图像和视频中学习,使用表情变换模块从视频序列学习人脸表情的变化。本发明考虑到内部因素和外部环境,利用人脸的三维性质来解耦多达5个影响因素,包括人脸的材质、形状、表情、姿势和光照。本发明可以用于各种下游任务,如人脸表情识别、姿势估计、人脸验证和人脸正面化。
-
公开(公告)号:CN114743069B
公开(公告)日:2025-05-06
申请号:CN202210427447.1
申请日:2022-04-21
Applicant: 复旦大学
IPC: G06V10/774 , G06V10/82 , G06N3/04 , G06N3/045 , G06N3/0464 , G06N3/084 , G06N3/0985
Abstract: 本发明属于视频与场景理解技术领域,具体为一种对两帧图像进行密集匹配计算的方法。本发明方法包括采用一种新的置信度驱动的自适应匹配网络模型,从不置信的点中挖掘匹配信息。通过迭代评估置信度和匹配不置信点来实现自适应匹配。其中,采用三种策略来评估置信度,每一种都伴随有不同的置信度表示、不置信点选择和损失函数。这些策略自适应地从流预测结果中提出了不确定的点。本发明还将密集匹配与特征匹配方法相结合,以匹配不确定的点,并为流预测结果提供指导。本发明方法促进了不置信区域的成对点的匹配。最终的模型以较低的时间和参数成本实现了最先进的性能。
-
公开(公告)号:CN114862697B
公开(公告)日:2025-03-25
申请号:CN202210370638.9
申请日:2022-04-10
Applicant: 复旦大学
IPC: G06T5/77 , G06T15/00 , G06V40/16 , G06V10/774
Abstract: 本发明属于数字图像处理技术领域,具体为一种基于三维分解的人脸盲修复方法。本发明包括:使用人脸三维重建模型将人脸图像分解为纹理层、骨骼结构层和环境及位姿参数三部分;对骨骼结构层使用编码器‑解码器对其进行粗粒度填充,对纹理层先使用不同参数编码器‑解码器对其进行细粒度填充,再使用人脸增强模块对人脸细节增强;用三维重建网络中的渲染器将修复的两个成分与其他参数结合渲染得到修复重建后的三维人脸图像;将修复得到的三维人脸图像和被遮挡的输入图共同输入人脸精修模块,得到被修复的人脸图像。实验结果表明,当图像的遮挡范围没有被手动标注时,本发明能够准确地对人脸进行修复,同时保持未被遮挡部分和输入图像保持一致。
-
公开(公告)号:CN115018767A
公开(公告)日:2022-09-06
申请号:CN202210477177.5
申请日:2022-05-03
Applicant: 复旦大学
IPC: G06T7/00 , G06T7/11 , G06N3/04 , G06N3/08 , G06V10/764 , G06V10/26 , G06V10/774
Abstract: 本发明属于医学图像处理技术领域,具体为一种跨模态内镜图像转换及病灶区域分割方法。本发明通过构建的基于本征表示学习的神经网络,将消化道内窥镜白光图像转换成高质量的窄带图像;使用无监督训练的本质特征提取器获取白光图像的本质特征,通过空洞空间卷积池化金字塔网络进行病灶区域的预测,得到病灶区域的分割结果;测试时,待测白光图像只需要和一张辅助的窄带图像经过一次前向传播,即可获得白光图像对应的窄带图像。本方法采用无监督学习方式,拥有很好的泛化性,在不同内窥镜设备上效果优异。本发明能够为白光内窥镜设备提供额外的窄带成像,为医生诊断提供更好的参考,基于窄带图像辅助的病灶区域分割能够自动定位病灶区域,从而大大提高疾病诊断效率,降低发病率和死亡率。
-
公开(公告)号:CN108921854B
公开(公告)日:2022-06-21
申请号:CN201810496495.X
申请日:2018-05-22
Applicant: 复旦大学
Abstract: 本发明属于图像处理技术领域,具体为一种消化道内镜图像不规则病变区域标注方法及系统。本发明方法包括:选择目标文件夹,获取文件夹下图像的文件名;自动生成输出路径;初始化图像掩膜;裁剪图像和掩膜并记录裁剪位置;标注病变区域,更新掩膜;根据掩膜生成边框;保存裁剪后的图像、裁剪位置、掩膜和病变区域的边框。所述系统主要包括裁剪和标注两个功能,医生可以剪掉内镜图像中对训练深度神经网络有负面影响的部分、用曲线在内镜图像中勾勒出不规则病变区域,系统自动保存裁剪的图像、位置、掩膜、病变区域的边框,提高标注效率。
-
公开(公告)号:CN112419191B
公开(公告)日:2022-05-20
申请号:CN202011326166.4
申请日:2020-11-24
Applicant: 复旦大学
Abstract: 本发明属于数字图像处理技术领域,具体为一种基于卷积神经网络宽尺度模糊感知机制的图像运动模糊去除方法。本发明方法包括:首先运用三种创新的卷积神经网路的计算单元,即轻量级全局上下文精炼模块、多尺度分析融合模块以及可变形卷积微调模块,构建一个多尺度深度信息融合的深度神经网络系统;其次,进行数据准备与模型训练,当训练的目标函数降低至某可接受阈值,可认为网络收敛;最后,在应用阶段,将模糊图像输入系统,直接得到清晰图像。实验结果表明,给定一张运动模糊图片,本发明既能够清除越过边缘侵蚀的模糊模式,又能够合理地还原图像应有的细节,得到与其对应的清晰图片。
-
公开(公告)号:CN114359628A
公开(公告)日:2022-04-15
申请号:CN202111537613.5
申请日:2021-12-15
Applicant: 复旦大学
IPC: G06V10/764 , G06V10/82 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明属于医疗图像处理技术领域,具体为一种利用相邻帧时空信息的食管内镜视频帧序列质量分类的算法。本发明算法包括:构建用于视频帧序列预测算法的卷积神经网络模型,包括内容特征提取子网络、运动特征提取子网络,参考两种特征的信息,最后通过全连接子网络给出中间帧的视频质量分数;进行数据的收集与模型的训练,当训练的目标函数降低至某可接受阈值,即可认为网络收敛;最后,将连续三帧图像输入到训练好的网络模型中,得到中间帧的质量分类;实验结果表明,本发明算法的质量分类的准确性超过85%,对于临床食管内镜的诊断与质量控制,具有很强的应用价值。
-
公开(公告)号:CN114298975A
公开(公告)日:2022-04-08
申请号:CN202111486801.X
申请日:2021-12-07
Applicant: 复旦大学
IPC: G06T7/00
Abstract: 本发明属于医疗图像处理技术领域,具体为一种基于PyQt5的食管内镜图像序列的质量标注工具。本发明包括五个模块:文件夹选择与打开模块、图像质量标记模块、训练样本生成模块、显示模块与切换控制模块;五个模块协同工作,共同完成文件夹内食管内镜图像序列的质量高与低的标注。本发明可以辅助医生完成对某个文件夹内的食管内镜图像序列进行质量评判的标注工作。食道内镜图片质量分为高质量或者低质量,由医生根据临床经验进行相应的判断。本发明工具操作简单,步骤清晰,直接生成神经网路训练所需要的数据对,适用于各种需要对医疗图像序列(不限于食管内镜)进行质量高低标注的场合。
-
公开(公告)号:CN114283080A
公开(公告)日:2022-04-05
申请号:CN202111537614.X
申请日:2021-12-15
Applicant: 复旦大学
Abstract: 本发明属于数字图像智能处理技术领域,具体为一种多模态特征融合的文本指导图像压缩噪声去除方法。本发明方法包括:模型以压缩图像和相应的文本描述作为输入,分别提取局部特征和全局特征;基于全局特征融合,模型利用文本全局特征增强图像全局特征,极大提升重建结果的全局质量;基于局部特征融合,模型利用文本局部特征增强图像局部特征,使重建结果具有更多细粒度纹理;在网络训练中引入重构损失、对抗损失、对比损失和语义一致损失来辅助模型生成更加真实、自然的结果。实验结果表明,本发明可以有效利用文本信息来辅助压缩图像的增强,生成自然美观且与未压缩图像语义一致的重建结果,有效解决图像压缩噪声去除的问题。
-
公开(公告)号:CN111354004B
公开(公告)日:2022-03-18
申请号:CN202010124604.2
申请日:2020-02-27
Applicant: 复旦大学
Abstract: 本发明属于医疗图像处理技术领域,具体为一种基于颞骨CT平扫影像的左右耳区域分割方法。该算法用于对头部颞骨CT影像中的左、右耳部区域进行分割,使得计算机能够集中地对耳部区域进行后续的处理。本发明依次包括以下步骤:对头部CT图像的无效区域进行剔除;按照比例将图像中的左、右耳区域分别裁出;将左、右耳区图像分别整理保存。实验结果表明,对于平扫的颞骨CT图像,本方法可以剔除无效的黑色区域,抛弃其他无关部位的信息,准确地提取左右耳区域。
-
-
-
-
-
-
-
-
-