公开(公告)号：CN118279251A

公开(公告)日：2024-07-02

申请号：CN202410342801.X

申请日：2024-03-25

Applicant: 杭州电子科技大学

Inventor： 赵世灵 ,  殷海兵 ,  王鸿奎 ,  黄晓峰 ,  林聚财 ,  郑东 ,  谢亚光

IPC: G06T7/00 ,  G06N3/0455

Abstract: 本发明公开了一种用户生成视频质量评估方法及装置，通过构建视频质量评价模型，避免忽视过滤机制导致的评价准确性下降；通过双阈值自适应调整权重阈值策略，避免评价模型对失真信息建模能力的不足；通过视觉聚焦策略，设计全新的空域窗口，对原空域窗口进行补充，使评价模型空时域失真信息充分交互，初始阶段能够充分感知空域信息，最后阶段能够充分学习时域失真信息；在窗口注意力模块的基础上，增加基于中心凹效应的可学习窗口相对位置偏移表来表示不同窗口在全局的相对位置，避免全局位置信息的缺失，此外，在局部自注意力中设置了与面积成正比的区域面积因子，用于平衡不同面积窗口的通道组注意力权重，避免评价模型在全局建模方面的不足。

公开(公告)号：CN118200517A

公开(公告)日：2024-06-14

申请号：CN202410350928.6

申请日：2024-03-26

Applicant: 杭州电子科技大学

Inventor： 赵世灵 ,  张威 ,  殷海兵 ,  王鸿奎

IPC: H04N17/00 ,  H04N21/44 ,  H04N21/442 ,  H04N21/234 ,  H04N21/24 ,  G06N3/045 ,  G06N3/0464

Abstract: 本发明公开了基于注意选择的用户原创视频质量评估方法。首先待评估视频经过时序小块采样模块得到重组帧集合，随后将重组帧集合输入到训练好的参数固定的ASNet，经过多阶段加工和过滤操作得到高阶空时域失真特征token集合，随后输入回归器得到待评估用户原创视频的得分。本发明设计了时序小块采样模块用以细颗粒度地保留时空域的失真信息，同时通过注意力筛选transformer网络多阶段加工和过滤视觉信息，确保模型能够高效地处理和分析复杂场景下视频中的视觉信息，从而提取出失真程度表征性强的语义特征。