公开(公告)号：CN117808766A

公开(公告)日：2024-04-02

申请号：CN202311846522.9

申请日：2023-12-29

Applicant: 南京信息工程大学

Inventor： 王思拓 ,  于莉

IPC: G06T7/00 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/049 ,  G06N3/0895

Abstract: 本发明公开了一种基于Conv2Former和对比学习的视频质量评价方法及装置，该方法利用Conv2Former作为空间特征提取模块并结合特征金字塔技术，对视频帧进行空间特征提取。再利用Attention‑LSTM模型，处理视频的时序信息，以捕捉视频帧之间的时间关系。最后，通过一个MLP层将时序特征映射为最终的视频质量评分。为了解决数据不足问题，采用对比学习进行预训练，利用未标记的数据来学习更具有判别性的特征表示，从而提升模型性能和泛化能力。本发明提出的深度学习模型能够在保持较高的计算效率的同时提取空间特征，并实现视频质量评价的准确和自动化，特别是通过对比学习进行预训练，为解决视频质量评价中标记数据不足的问题提供了一种可靠的解决方案。

公开(公告)号：CN119135879A

公开(公告)日：2024-12-13

申请号：CN202411105461.5

申请日：2024-08-13

Applicant: 南京信息工程大学

Inventor： 王思拓 ,  于莉

IPC: H04N17/00 ,  H04N21/234 ,  H04N21/24 ,  H04N21/442 ,  H04N21/44 ,  H04N21/647 ,  G06V10/98 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464

Abstract: 本发明公开了一种视频质量评价方法及系统，涉及视频质量评价技术领域，方法包括：获取UGC视频以及UGC视频对应的文本描述，将UGC视频分别输入至预先建立的Conv2Former模型和SlowFast模型内，输出得到空间特征和时间特征，将空间特征和时间特征进行融合，得到最终输出特征；将UGC视频对应的文本描述输入至预先建立的Transformer模型内，输出得到文本特征，其中，所述文本特征包括视频内容的语义信息和视频质量的评价；将最终输出特征与文本特征相融合，得到融合特征，将融合特征输入至预先建立的MLP网络模型内，输出得到视频质量分数。