-
公开(公告)号：CN113628175B
公开(公告)日：2024-02-20
申请号：CN202110829971.7
申请日：2021-07-22
Applicant: 上海交通大学
Abstract: 本发明公开一种图像质量分数分布的预测方法、系统、终端及介质，其中方法包括：提取图像的自然场景统计特征；利用提取的所述自然场景统计特征通过训练四个不同的支持向量机；采用训练得到的所述支持向量机来预测图像质量分数分布的四个参数，最终得到基于Alpha稳定模型的图像质量分数分布。本发明第一次提出使用Alpha稳定模型来描述图像质量得分的分布，其所表达出的信息要比图像的MOS更丰富，通过提取图像的自然场景统计特征，并利用支持向量机回归，可有效地预测图像的质量分数分布。
-
公开(公告)号：CN117354490A
公开(公告)日：2024-01-05
申请号：CN202311338944.5
申请日：2023-10-17
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/233 , H04N21/44 , H04N21/439
Abstract: 本发明提供一种统一的音频、图像、视频及音视频质量评价方法及系统，包括：当输入为音频或者音视频时，对音频提取音域特征fa；当输入为图像、视频或者音视频时，对图像或者关键帧提取空域特征fi；当输入为视频或者音视频时，对视频提取时域特征fm；根据输入的模态，将特征组合后输入到对应的回归器中，即分别得到音频质量分数Qa，图像质量分数Qi，视频质量分数Qv，音视频质量分数Qav。本发明可有效地同时评价音频、图像、视频及音视频四种模态的感知体验质量。
-
公开(公告)号：CN113473117B
公开(公告)日：2022-09-02
申请号：CN202110814227.X
申请日：2021-07-19
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/439 , H04N21/44 , H04N21/466 , H04N21/475
Abstract: 本发明提供了一种基于门控循环神经网络的无参考音视频质量评价方法，首先通过短时特征提取模块中卷积神经网络提取视频信号和音频信号的短时特征，之后利用长时特征提取模块中门控循环神经网络从视频信号和音频信号的短时特征中学习相邻帧之间的关联性，提取长时特征，最后通过特征融合模块中全连接层将音频信号和视觉信号的长时特征进行融合，得到音视频客观质量评价分数。在短时特征提取时，首先将视频信号按时序依次将单帧图像分割为图像小块、音频信号通过短时傅里叶变换将短音频段转换为二维语谱图，之后利用卷积神经网络从图像小块和二维语谱图提取深层语义特征。本发明可有效地评价音视频的总体感知体验质量。
-
公开(公告)号：CN113473117A
公开(公告)日：2021-10-01
申请号：CN202110814227.X
申请日：2021-07-19
Applicant: 上海交通大学
IPC: H04N17/00 , H04N21/234 , H04N21/439 , H04N21/44 , H04N21/466 , H04N21/475
Abstract: 本发明提供了一种基于门控循环神经网络的无参考音视频质量评价方法，首先通过短时特征提取模块中卷积神经网络提取视频信号和音频信号的短时特征，之后利用长时特征提取模块中门控循环神经网络从视频信号和音频信号的短时特征中学习相邻帧之间的关联性，提取长时特征，最后通过特征融合模块中全连接层将音频信号和视觉信号的长时特征进行融合，得到音视频客观质量评价分数。在短时特征提取时，首先将视频信号按时序依次将单帧图像分割为图像小块、音频信号通过短时傅里叶变换将短音频段转换为二维语谱图，之后利用卷积神经网络从图像小块和二维语谱图提取深层语义特征。本发明可有效地评价音视频的总体感知体验质量。
-
公开(公告)号：CN117633526A
公开(公告)日：2024-03-01
申请号：CN202311371480.8
申请日：2023-10-20
Applicant: 上海交通大学
IPC: G06F18/214 , G06F18/213 , G06F18/25 , G06N3/045 , G06Q10/0639
Abstract: 本发明提供一种跨模态多质量评价数据集联合训练方法和系统，包括：构建跨模态多质量评价模型，包括特征提取和特征融合两部分；其训练过程共三步：第一步，根据待训练的质量评价数据集个数M，将特征融合部分扩展为M个后，各数据集共用特征提取部分提取特征后输入各数据集对应的特征融合部分进行训练。第二步，特征提取部分继承第一步训练后的模型参数，且将特征融合部分根据模态个数N进行拓展后进行训练。第三步，特征提取部分继承第二步训练后的模型参数，冻结特征提取部分的模型参数，将特征提取部分复原为一个后进行训练。本发明有效地利用跨模态的音频、图像、视频及音视频质量评价数据集来联合训练多模态的跨模态多质量评价模型。
-
Patent Agency Ranking
公开(公告)号：CN117474841A
公开(公告)日：2024-01-30
申请号：CN202311344910.7
申请日：2023-10-18
Applicant: 上海交通大学
Abstract: 本发明提供一种图像主观质量评分和瞳孔数据同步采集方法及系统，包括：图像主观质量评分和瞳孔数据同步采集环境搭建，其中具有图像显示功能和瞳孔数据采集功能；获取高质量参考图像，并根据所述高质量参考图像和失真类型生成一系列的失真图像，并构建图像质量评价数据库；根据所述图像质量评价数据库中的图像，通过图像显示功能，让测试者进行图像主观质量评价训练；训练结束后进行正式图像观察和图像主观质量评价，并同时开启瞳孔数据采集功能，得到每张图像的主观质量评价结果以及对应的瞳孔数据。利用本发明可提供规范化及流程化的基于瞳孔尺寸的图片主观质量评价。
-
公开(公告)号：CN117422980A
公开(公告)日：2024-01-19
申请号：CN202311377511.0
申请日：2023-10-23
Applicant: 上海交通大学
IPC: G06V10/98 , G06V10/764 , G06V10/80 , G06V10/82 , G06N3/0464 , G06V10/774
Abstract: 本发明提供一种基于图卷积神经网络的无参考图像质量评价方法及系统，包括：使用预训练的ResNet50网络提取图像的第一图像特征，基于第一图像特征提取图像的一阶特征和二阶特征，将图像一阶特征和二阶特征进行融合得到第二图像特征；设定多个不同的质量标签，并提取这多个质量标签的特征，构建特征之间的相关性矩阵，基于相关性矩阵构建一个基于图卷积神经网络的分类器，该分类器采用第二图像特征学习图像质量属于每个标签的概率，得到预测的图像质量分数；根据图像质量分数的分布计算图像质量的平均意见分数，根据平均意见分数生成基于高斯的图像质量分数分布，实现图像质量评价。本发明可有效地预测图像的质量分数的分布。
-
公开(公告)号：CN117372387A
公开(公告)日：2024-01-09
申请号：CN202311389543.2
申请日：2023-10-24
Applicant: 上海交通大学
IPC: G06T7/00 , G06N3/0464 , G06N3/082
Abstract: 本发明提供一种基于卷积神经网络剪枝的轻量化图像质量评价方法及系统，所述方法包括：获取待评价数据集；根据待评价数据集选取卷积神经网络结构，对所述卷积神经网络进行训练；对经过训练的所述卷积神经网络进行剪枝操作，得到图像质量评价模型；将所述待评价数据集输入所述图像质量评价模型，得到图像质量评价结果；其中，将卷积神经网络中的卷积层拆分为子卷积核和装饰器，并使用层次相关性传播算法(LRP)对装饰器进行初始化；使用待评价数据集训练装饰器；根据装饰器设置掩码并完成剪枝；使用待评价数据集对剪枝之后的模型进行微调。本发明可以用更快的运算速度和更小的现存占用完成图像质量评价任务。
-
公开(公告)号：CN117372550A
公开(公告)日：2024-01-09
申请号：CN202311338949.8
申请日：2023-10-17
Applicant: 上海交通大学
IPC: G06T7/90 , G06N3/045 , G06N3/0464
Abstract: 本发明提供一种图像对的色差预测方法、系统、终端及介质，包括：将基于RGB色彩空间中的一个原始图像对的两张图像转换为基于LAB和HSV色彩空间的两个图像对，获得基于LAB、RGB和HSV色彩空间的三个图像对；采用双流神经网络对所述三对图像对分别进行特征提取，获得每个图像的低级到高级特征图，并得到每个图像对的色差图；将所述色差图连接起来，通过色差计算获得每个色彩空间中的图像对的色差；对基于LAB、RGB和HSV色彩空间的三个图像对的色差进行平均池化，得到原始图像对的色差。本发明可有效地预测图像对的色差。
-
公开(公告)号：CN113628130B
公开(公告)日：2023-10-27
申请号：CN202110829947.3
申请日：2021-07-22
Applicant: 上海交通大学
IPC: G06T5/00 , G06N3/0464 , G06N3/048 , G06N3/082
Abstract: 本发明提供一种基于深度学习的视障辅助的图像增强方法、设备和介质，包括：将卷积神经网络的输出端与模拟视障患者的视觉系统的输入端进行连接，得到级联系统；对卷积神经网络进行训练得到图像增强网络，其中：将原始图像输入卷积神经网络进行增强，将增强结果输入模拟视障患者的视觉系统进行模拟，级联系统输出为该视障症状的模拟的感知图像；计算级联系统输出和原始图像的损失，以最小化级联系统的输入输出图像间的差异为目标，对原始图像进行增强以补偿模拟的视障患者的视觉系统带来的失真。本发明得到的图像增强网络能有效地实现针对视障辅助的图像增强，实验表明针对中心视力下降的图像增强能有效改善患者的视觉功能和主观感知质量。
-
-
-
-
-
-
-
-
-
Search Results
12
records
(took 0.016 seconds)
