公开(公告)号：CN117237284A

公开(公告)日：2023-12-15

申请号：CN202311121853.6

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张岩 ,  高体民

IPC: G06T7/00

Abstract: 一种基于蒸馏算法的通用高效3D点云分析方法，属于计算机视觉技术领域。1)输入3D点云数据；2)训练教师模型；3)3D点云数据经过MLPs层初步提取特征；4)对提取的特征采取Feature Extraction模块进一步提取特征；5)对输出的特征经过Meta Combination模块分析；6)重复步骤5)中的步骤K次；7)重复步骤4)～6)中的步骤3次；8)对步骤6)和7)中输出的信息进行Feat.Propagation计算；9)重复步骤8)中的步骤3次；10)训练教师模型直到损失收敛；11)基于教师模型蒸馏学生模型；12)给定任意3D点云数据，将其输入学生模型，学生模型输出分析结果。

公开(公告)号：CN117173518A

公开(公告)日：2023-12-05

申请号：CN202311131030.1

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06V10/776 ,  G06V10/764 ,  G06V10/40 ,  G06N3/0455

Abstract: 基于跨数据集蒸馏多令牌半监督无参考图像质量评估方法，涉及计算机视觉技术。提出一种基于注意力蒸馏的NR‑IQA方法。有效集成来自不同数据集的知识，以增强图像质量的表示并提高预测的准确性。在Transformer编码器中引入一个蒸馏令牌，使学生模型能在不同的数据集上向老师学习。通过利用来自不同源域的知识，模型能够捕捉到与图像失真相关的基本特征，增强模型的泛化能力。为从不同的角度细化感知信息，引入模拟多个评审员的多个类令牌。提高模型的可解释性，降低预测的不确定性。引入一种称为注意力评分的机制，该机制将来自编码器的注意力评分矩阵与解码器后面的MLP头部相结合，以细化最终质量分数。

公开(公告)号：CN117115121A

公开(公告)日：2023-11-24

申请号：CN202311121777.9

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  张岩 ,  高体民

IPC: G06T7/00

Abstract: 基于蒸馏学习和增量学习半监督无参考图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在模拟人类对图像失真的评估，对标记数据有很大的需求，但标记数据在实践中远远不够。本发明提出一个统一的半监督和增量学习框架来解决上述问题。当训练数据不足时，需要半监督学习来推断大量未标记的数据。同时，多次的半监督学习很容易导致灾难性遗忘问题，需要增量学习。使用知识蒸馏为未标记的数据提供伪标签，以保持分析能力，从而实现半监督学习。同时，通过在多次半监督学习过程中选择具有代表性的例子，利用增量学习来修正先前的数据，从而确保本发明的模型不会退化。本发明展示其解决实际生产中图像质量评估问题的潜力。

公开(公告)号：CN117078656A

公开(公告)日：2023-11-17

申请号：CN202311131117.9

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06T7/00 ,  G06N3/0464 ,  G06N3/088

Abstract: 一种新型基于多模态提示学习的无监督图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在没有参考图像(原始图像)的条件下模拟人类对图像质量的评估。本发明充分发挥预训练的CLIP模型在挑战性图像感知评估任务中的潜力。首先引入多模态的提示学习，使得能够灵活调整CLIP模型在BIQA的表示空间，从而激发在挑战性图像感知评估任务中的潜力。其次改进之前的文本提示学习的方法，以一种细粒度的文本提示学习代替前人的方法中使用的反义词文本提示学习，从而能够抓取图像的细粒度特征，获得更准确的质量评估。