一种基于情感分析的图像滤镜生成方法

    公开(公告)号:CN116910294A

    公开(公告)日:2023-10-20

    申请号:CN202311007227.4

    申请日:2023-08-11

    摘要: 本发明提供的一种基于情感分析的图像滤镜生成方法,引入了视觉上情绪分析的先验知识,采用预训练的BERT模型和VAD情感词典,有效提取文本中的情感,提升模型对文本情感的感知能力。通过可学习的分组编码,将内容图像编码和文本编码特征融合成跨模态序列,赋予模型跨模态感知能力,提高文本控制下图像表现出文本情感的能力。设计情感向量损失函数和情感分类损失函数,全面展示客观和主观情感,使模型准确地将文本情感反映在生成图像中。在情感展现程度、内容保留程度、图像生成质量和条件一致性等方面取得显著性能提升。

    一种基于文本交互的实例感知图像着色方法

    公开(公告)号:CN116778028A

    公开(公告)日:2023-09-19

    申请号:CN202310481974.5

    申请日:2023-04-28

    摘要: 本发明提供的一种基于文本交互的实例感知图像上色方法,使用可学习的分组令牌,将颜色相近的图像块聚合作为实例表征,赋予了模型实例感知的能力,提高了文本控制下对图像中指定实例的着色效果;通过使用亮度通道增强的算法,干扰了图像在LAB颜色空间中亮度值和颜色值的统计相关性,使模型更高效地利用文本条件,增强了文本交互的效率;通过使用颜色对比损失函数,增强了图像块分组的准确性,提高了实例感知的效率,更加有效的完成基于文本交互的实例感知图像上色任务。