公开(公告)号：CN119991649A

公开(公告)日：2025-05-13

申请号：CN202510169091.X

申请日：2025-02-17

Applicant: 上海交通大学

Inventor： 张子澄 ,  翟广涛 ,  刘笑宏 ,  闵雄阔 ,  贾子恒 ,  周颖杰 ,  贾隽

IPC: G06T7/00 ,  G06V10/52 ,  G06V10/80 ,  G06V10/764 ,  G06V10/28 ,  G06F40/126

Abstract: 本发明提供一种基于多模态大模型的图像质量评价系统和方法，包括：输入模块：用于接收输入图像和文本描述；视觉编码器：将所述输入图像转换为视觉特征编码；文本编码器：将所述文本描述转换为文本嵌入特征；多尺度特征抽象器：从所述视觉特征编码提取出多尺度特征，并与所述文本嵌入特征合并；任务处理模块：根据任务类型，完成质量分数量化、质量描述、质量标注区域的一种或者多种；输出模块：将所述任务处理模块的处理结果输出。本发明构建统一的多模态框架：将图像的质量分数量化，质量损失描述以及质量损失区域标注任务整合到一个统一的多模态大模型中，实现多任务的协同处理。

公开(公告)号：CN116485760A

公开(公告)日：2023-07-25

申请号：CN202310460839.2

申请日：2023-04-25

Applicant: 上海交通大学

Inventor： 翟广涛 ,  张子澄 ,  闵雄阔 ,  周颖杰 ,  孙伟

IPC: G06T7/00 ,  G06T3/00 ,  G06V40/16 ,  G06V20/40 ,  G06V10/82 ,  G06V10/74 ,  H04N23/695

Abstract: 本发明公开一种三维数字人脸的全参考质量评价方法和系统，包括：分别设定三个摄像机的运动轨道，运动轨道能够覆盖三维数字人脸的视点；计算并确定三个摄像机的运动轨道的中心；使用摄像机对失真的与未失真的参考三维人脸进行视频序列的采集；对采集到视频序列分别进行固定间隔的抽帧并拼接获得帧序列；将失真人脸与参考人脸的帧序列依次输入已完成训练的网络中进行特征提取，获得失真人脸提取特征和参考人脸提取特征；计算失真人脸提取特征和参考人脸提取特征的欧氏距离，将其作为三维数字人脸质量的评价指标，从而获得三维数字人脸的质量评价。其能够解决三位数字人脸数据难以直接处理的难题，并能够高效准确地评估三维人脸失真的视觉质量。