公开(公告)号：CN116863256A

公开(公告)日：2023-10-10

申请号：CN202310949635.5

申请日：2023-07-31

Applicant: 重庆邮电大学

Inventor： 王烨 ,  李戴天霞 ,  刘群

IPC: G06V10/77 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0499 ,  G06N3/0895

Abstract: 本发明属于图像数据处理领域，具体涉及一种基于自监督模态优化的图像描述生成方法；该方法包括：采用图像编码器提取图像的全局特征和网格特征，采用文本编码器提取文本描述的文本特征；采用视觉精炼模块对网格特征进行处理，得到精炼图像网格特征；将图像全局特征和文本特征输入到跨模态特征优化器中进行处理，得到优化图像全局特征；采用解码器对优化图像全局特征和精炼图像网格特征进行处理，生成文本描述；计算模型总损失并根据模型总损失调整模型参数，得到训练好的自监督模态优化图像描述模型；将待描述的图像输入到训练好的自监督模态优化图像描述模型，生成图像的文字描述；本发明可生成更自然、更准确的描述。

公开(公告)号：CN116739892A

公开(公告)日：2023-09-12

申请号：CN202310809397.8

申请日：2023-07-04

Applicant: 重庆邮电大学

Inventor： 王烨 ,  赵钱蒙可 ,  刘群 ,  李戴天霞 ,  贤冠萌

IPC: G06T3/00 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/0464 ,  G06N3/094

Abstract: 本发明涉及一种基于KDD‑GAN的人脸图像编辑方法，包括：根据原始人脸图像、原始期望人脸语义属性标签和原始人脸语义属性标签对KDD‑GAN人脸图像编辑模型进行训练；所述KDD‑GAN人脸图像编辑模型包括：由第一编码器、第二编码器和公共解码器组成的生成器，以及由公共特征提取器、对抗判别器和分类器组成的判别器；将目标人脸图像输入训练好的KDD‑GAN人脸图像编辑模型，利用第一编码器或第二编码器对目标图像进行编码得到目标人脸图像的潜在特征表示；根据目标期望人脸语义属性标签对目标人脸图像的潜在特征表示进行编辑，将编辑后的潜在特征表示输入公共解码器进行解码生成具有目标期望人脸语义属性的人脸图像。