公开(公告)号：CN118608467A

公开(公告)日：2024-09-06

申请号：CN202410651496.2

申请日：2024-05-24

Applicant: 南京邮电大学

Inventor： 崔子冠 ,  曾令宣 ,  柏明荫 ,  吴立鹏 ,  干宗良 ,  唐贵进 ,  刘峰

IPC: G06T7/00 ,  G06T5/50 ,  G06T5/60 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于图像特征和语义描述的无参考图像质量评价方法，包括输入文本模型，由Text Transformer编码器提取文本特征，获得文本嵌入；输入图像，将输入图像划分为子图像，由Vision Transformer编码器提取全局图像特征，由CNN编码器提取局部图像特征；将全局图像特征加入通道注意力，与局部图像特征进行交叉注意力操作得到融合特征，获得视觉嵌入；对文本嵌入和视觉嵌入进行余弦相似度计算，使用Softmax对余弦相似度进行归一化；进行概率边缘化处理，得到四种概率，并通过关联五个质量级别的李克特量表及其对应的边际概率得到质量评分；分别计算出损失；对其加权求和，计算整体损失，对整体网络模型进行训练。本发明在图像质量评价任务中具有更好的图像质量预测准确性。