一种基于特征融合和循环神经网络的无参考视频质量评价方法

    公开(公告)号:CN110677639A

    公开(公告)日:2020-01-10

    申请号:CN201910938025.9

    申请日:2019-09-30

    IPC分类号: H04N17/00

    摘要: 本发明公开了一种基于特征融合和循环神经网络的无参考视频质量评价方法,本方法通过一个可以输入视频段的特征融合网络融合时空特征,使用一个循环神经网络融合不同视频段的质量,完成视频整体的质量评价任务。本发明使用的神经网络,直接以视频段作为输入,采用特征融合网络,这样的设计可以更好的提取视频帧直接的关系,从而更准确的得到视频整体的质量评价指标。本发明的特征融合网络可以一次性处理多帧并得到一个低维度的特征,即特征规模相对与数据量来讲极大降低,在运算时,对于一整段视频来讲,总时间可以得到极大的降低。

    一种基于深度强化学习的无参考超高清视频质量客观评价方法

    公开(公告)号:CN114915777A

    公开(公告)日:2022-08-16

    申请号:CN202210239819.8

    申请日:2022-03-12

    发明人: 史萍 应泽峰 潘达

    摘要: 本发明公开了一种基于深度强化学习的无参考超高清视频质量客观评价方法,被测超高清视频经过抽帧和下采样处理后,得到低分辨率的帧图像序列。将该帧图像序列逐帧送入基于深度学习的空域失真特征提取网络,得到与每一帧对应的空域失真特征。将上述特征逐帧送入基于深度强化学习的超高清视频质量评价网络,该网络根据输入的每帧空域失真特征对视频质量分数进行动态调整。当图像帧序列的最后一帧输入模型后,可得到整个视频的质量评价分数。本发明利用深度学习网络全面感知并提取超高清视频的空域失真特征,对超高清视频的失真信息进行全局融合并模拟人类视觉感知过程对视频质量进行评分。本发明性能优于传统的无参考视频质量客观评价方法。

    一种基于多尺度生成对抗网络的无参考图像质量客观评价方法

    公开(公告)号:CN108090902B

    公开(公告)日:2021-12-31

    申请号:CN201711492127.X

    申请日:2017-12-30

    IPC分类号: G06T7/00

    摘要: 本发明公开了一种基于多尺度生成对抗网络的无参考图像质量客观评价方法,通过多尺度生成对抗网络产生失真图像对应的相似质量图,再将不同尺度的相似质量图通过卷积神经网络进行回归得到图像质量分数。训练多尺度生成对抗网络,通过全参考图像质量评价方法对失真图像生成图像质量相似图,并将其作为判别网络的真实数据集。将三组不同尺度的相似质量图作为数据集,主观评价分数作为标签,对图像质量分数回归网络进行训练。失真图像通过生成网络产生多张不同尺度的相似质量图,然后通过图像质量分数回归网络生成图像质量分数。本发明将整体失真程度和局部失真细节结合,从而进一步确定失真图像的质量分数,更全面准确地体现了失真图像质量。

    一种基于视觉注意力机制的无参考视频质量评价方法

    公开(公告)号:CN111784694B

    公开(公告)日:2024-07-23

    申请号:CN202010841520.0

    申请日:2020-08-20

    摘要: 本发明公开了一种基于视觉注意力机制的无参考视频质量评价方法,本方法通过生成视频帧的光流场,使用其筛选深度神经网络中的中间特征,通过注意力机制模拟了人眼对于失真视频的感知过程,以此完成视频的质量评价任务。本发明利用了人眼在观察失真视频时的感知效应,即视频中的运动信息会吸引人眼的注意力,使人眼更关注此区域而影响了对视频整体质量的判断。另外,运动具有掩蔽效应,运动区域的失真不易被人眼所觉察。本发明设计了视觉注意力机制模型模拟了人眼感知失真的这一过程,通过光流场逐像素地表示视频帧的运动信息,作为视觉注意力图,并将其作用于深度神经网络中,以此提高视频质量评价模型的性能。

    一种基于特征融合和循环神经网络的无参考视频质量评价方法

    公开(公告)号:CN110677639B

    公开(公告)日:2021-06-11

    申请号:CN201910938025.9

    申请日:2019-09-30

    IPC分类号: H04N17/00

    摘要: 本发明公开了一种基于特征融合和循环神经网络的无参考视频质量评价方法,本方法通过一个可以输入视频段的特征融合网络融合时空特征,使用一个循环神经网络融合不同视频段的质量,完成视频整体的质量评价任务。本发明使用的神经网络,直接以视频段作为输入,采用特征融合网络,这样的设计可以更好的提取视频帧直接的关系,从而更准确的得到视频整体的质量评价指标。本发明的特征融合网络可以一次性处理多帧并得到一个低维度的特征,即特征规模相对与数据量来讲极大降低,在运算时,对于一整段视频来讲,总时间可以得到极大的降低。

    一种基于深度强化学习的无参考图像质量客观评价方法

    公开(公告)号:CN109741315B

    公开(公告)日:2020-08-28

    申请号:CN201811641631.6

    申请日:2018-12-29

    发明人: 潘达 应泽峰 史萍

    IPC分类号: G06T7/00

    摘要: 本发明公开了一种基于深度强化学习的无参考图像质量客观评价方法,该方法利用全参考方法对添加失真后的图像质量进行评估并反馈给决策模型,该决策模型的目标是为当前图像选出能造成质量下降最小的失真操作。由于图像质量所能下降的幅度与图像本身的质量密切相关,为了更好地进行决策选择,模型中存在的状态值会学习到有关图像质量的特征,因此将状态值作为图像质量的映射。在训练过程中只需要高质量图像作为输入,而不需要失真图像以及主观分数,在测试过程中将状态值直接作为质量分数输出。实验结果表明,与其他不使用主观分数的无参考图像质量评价方法相比,本方法性能更加优异。

    一种基于深度强化学习的无参考图像质量客观评价方法

    公开(公告)号:CN109741315A

    公开(公告)日:2019-05-10

    申请号:CN201811641631.6

    申请日:2018-12-29

    发明人: 潘达 应泽峰 史萍

    IPC分类号: G06T7/00

    摘要: 本发明公开了一种基于深度强化学习的无参考图像质量客观评价方法,该方法利用全参考方法对添加失真后的图像质量进行评估并反馈给决策模型,该决策模型的目标是为当前图像选出能造成质量下降最小的失真操作。由于图像质量所能下降的幅度与图像本身的质量密切相关,为了更好地进行决策选择,模型中存在的状态值会学习到有关图像质量的特征,因此将状态值作为图像质量的映射。在训练过程中只需要高质量图像作为输入,而不需要失真图像以及主观分数,在测试过程中将状态值直接作为质量分数输出。实验结果表明,与其他不使用主观分数的无参考图像质量评价方法相比,本方法性能更加优异。

    一种基于先验感知质量特征图的无参考图像质量客观评价方法

    公开(公告)号:CN108074239A

    公开(公告)日:2018-05-25

    申请号:CN201711488518.4

    申请日:2017-12-30

    IPC分类号: G06T7/00

    摘要: 本发明公开了一种基于先验感知质量特征图的无参考图像质量客观评价方法,本发明通过待评价图像先由全卷积网络生成感知质量特征图,再由深度网络对感知质量特征图进行池化得到主观分数的方法,实现图像的无参考质量评价。由全参考图像质量评价方法生成的感知质量特征图做为标签训练基于U-net的相似质量图生成全卷积网络,由主观评价分数作为标签训练感知质量特征图质量分数池化网络,失真图通过训练好的质量特征图生成全卷积网络和质量分数池化网络生成质量特征图和质量评价分数。本发明在得到失真图像质量分数的同时,还可以得到一张反映失真区域及程度的感知质量特征图,能更好的反应失真图像的失真程度和失真信息。

    一种基于深度学习的全参考超高清视频质量客观评价方法

    公开(公告)号:CN114598864B

    公开(公告)日:2024-11-08

    申请号:CN202210239824.9

    申请日:2022-03-12

    摘要: 本发明公开了一种基于深度学习的全参考超高清视频质量客观评价方法,被测超高清视频及对应的参考视频分别经过抽帧和图像块裁剪操作,得到被测视频图像块序列和对应的参考视频图像块序列。将被测视频图像块和对应的参考视频图像块成对输入到训练好的图像质量评价网络,得到被测视频图像块的质量分数。对图像块的质量分数进行空域池化和时域池化,得到被测视频的客观质量分数。本发明对超高清视频进行抽帧和图像块裁剪处理,有效减少了数据量,提升了算法效率;采用基于ResNet18的特征提取网络,提升了网络的训练效果,使网络能够有效提取图像特征;充分考虑人眼的视觉特点,对图像质量分数进行了空域池化和时域池化。

    一种基于深度学习的全参考超高清视频质量客观评价方法

    公开(公告)号:CN114598864A

    公开(公告)日:2022-06-07

    申请号:CN202210239824.9

    申请日:2022-03-12

    摘要: 本发明公开了一种基于深度学习的全参考超高清视频质量客观评价方法,被测超高清视频及对应的参考视频分别经过抽帧和图像块裁剪操作,得到被测视频图像块序列和对应的参考视频图像块序列。将被测视频图像块和对应的参考视频图像块成对输入到训练好的图像质量评价网络,得到被测视频图像块的质量分数。对图像块的质量分数进行空域池化和时域池化,得到被测视频的客观质量分数。本发明对超高清视频进行抽帧和图像块裁剪处理,有效减少了数据量,提升了算法效率;采用基于ResNet18的特征提取网络,提升了网络的训练效果,使网络能够有效提取图像特征;充分考虑人眼的视觉特点,对图像质量分数进行了空域池化和时域池化。