公开(公告)号：CN117173518B

公开(公告)日：2025-05-16

申请号：CN202311131030.1

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06V10/776 ,  G06V10/764 ,  G06V10/40 ,  G06N3/0455

Abstract: 基于跨数据集蒸馏多令牌半监督无参考图像质量评估方法，涉及计算机视觉技术。提出一种基于注意力蒸馏的NR‑IQA方法。有效集成来自不同数据集的知识，以增强图像质量的表示并提高预测的准确性。在Transformer编码器中引入一个蒸馏令牌，使学生模型能在不同的数据集上向老师学习。通过利用来自不同源域的知识，模型能够捕捉到与图像失真相关的基本特征，增强模型的泛化能力。为从不同的角度细化感知信息，引入模拟多个评审员的多个类令牌。提高模型的可解释性，降低预测的不确定性。引入一种称为注意力评分的机制，该机制将来自编码器的注意力评分矩阵与解码器后面的MLP头部相结合，以细化最终质量分数。

公开(公告)号：CN117173518A

公开(公告)日：2023-12-05

申请号：CN202311131030.1

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06V10/776 ,  G06V10/764 ,  G06V10/40 ,  G06N3/0455

Abstract: 基于跨数据集蒸馏多令牌半监督无参考图像质量评估方法，涉及计算机视觉技术。提出一种基于注意力蒸馏的NR‑IQA方法。有效集成来自不同数据集的知识，以增强图像质量的表示并提高预测的准确性。在Transformer编码器中引入一个蒸馏令牌，使学生模型能在不同的数据集上向老师学习。通过利用来自不同源域的知识，模型能够捕捉到与图像失真相关的基本特征，增强模型的泛化能力。为从不同的角度细化感知信息，引入模拟多个评审员的多个类令牌。提高模型的可解释性，降低预测的不确定性。引入一种称为注意力评分的机制，该机制将来自编码器的注意力评分矩阵与解码器后面的MLP头部相结合，以细化最终质量分数。

公开(公告)号：CN117078656A

公开(公告)日：2023-11-17

申请号：CN202311131117.9

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06T7/00 ,  G06N3/0464 ,  G06N3/088

Abstract: 一种新型基于多模态提示学习的无监督图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在没有参考图像(原始图像)的条件下模拟人类对图像质量的评估。本发明充分发挥预训练的CLIP模型在挑战性图像感知评估任务中的潜力。首先引入多模态的提示学习，使得能够灵活调整CLIP模型在BIQA的表示空间，从而激发在挑战性图像感知评估任务中的潜力。其次改进之前的文本提示学习的方法，以一种细粒度的文本提示学习代替前人的方法中使用的反义词文本提示学习，从而能够抓取图像的细粒度特征，获得更准确的质量评估。

公开(公告)号：CN118229633A

公开(公告)日：2024-06-21

申请号：CN202410298833.4

申请日：2024-03-15

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06T7/00 ,  G06V10/46 ,  G06V10/774

Abstract: 本发明提供了计算机视觉技术领域的一种基于局部流形学习的无参考图像质量评估方法，包括：步骤S1、对教师模型、学生模型进行初始化；步骤S2、获取训练图像并裁剪得到训练子图像；步骤S3、将训练图像输入教师模型得到注意力图，基于注意力图获取训练图像的视觉显著区域图；步骤S4、将训练子图像、视觉显著区域图输入学生模型得到子图像特征、显著区域特征；步骤S5、对各特征进行局部流形学习并计算对比损失，将训练子图像输入学生模型计算标签损失；步骤S6、基于对比损失值、标签损失值计算总损失值来更新学生模型，基于EMA算法更新教师模型；步骤S7、利用学生模型进行图像质量评估。本发明的优点在于：极大的提升了图像质量评估的准确性。

公开(公告)号：CN117115123A

公开(公告)日：2023-11-24

申请号：CN202311131204.4

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06T7/00 ,  G06V30/19 ,  G06V10/80

Abstract: 一种新型的基于文本‑图像对的无参考图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在模拟人类对图像失真的评估，提供一种新型的基于文本‑图像对的无参考图像质量评估方法，充分发挥CLIP模型在挑战性图像感知评估任务中的潜力。首先，提出一种细粒度的质量级别分层策略，使得学习到的特征与图像质量更密切相关。其次，提出一个两阶段训练模型。在模型中，引入一组可学习的文本标记，以充分利用文本编码器的表征能力。同时，提出一个质量感知模块，用于从多个角度评估图像质量并提取与质量级别密切相关的深层特征。