一种多模态特征融合的文本指导图像压缩噪声去除方法

    公开(公告)号:CN114283080A

    公开(公告)日:2022-04-05

    申请号:CN202111537614.X

    申请日:2021-12-15

    Applicant: 复旦大学

    Abstract: 本发明属于数字图像智能处理技术领域,具体为一种多模态特征融合的文本指导图像压缩噪声去除方法。本发明方法包括:模型以压缩图像和相应的文本描述作为输入,分别提取局部特征和全局特征;基于全局特征融合,模型利用文本全局特征增强图像全局特征,极大提升重建结果的全局质量;基于局部特征融合,模型利用文本局部特征增强图像局部特征,使重建结果具有更多细粒度纹理;在网络训练中引入重构损失、对抗损失、对比损失和语义一致损失来辅助模型生成更加真实、自然的结果。实验结果表明,本发明可以有效利用文本信息来辅助压缩图像的增强,生成自然美观且与未压缩图像语义一致的重建结果,有效解决图像压缩噪声去除的问题。

Patent Agency Ranking