基于循环多列3D卷积网络的视频超分辨率重建方法

    公开(公告)号:CN110689509B

    公开(公告)日:2024-04-19

    申请号:CN201910849968.4

    申请日:2019-09-10

    Applicant: 上海大学

    Inventor: 王永芳 帅源

    Abstract: 本发明公开了一种基于循环多列3D卷积神经网络的视频超分辨率重建方法。首先,使用光流算法估计出当前LR帧#imgabs0#和前一时刻LR帧#imgabs1#的光流图#imgabs2#然后,对网络重建的前一时刻的HR帧#imgabs3#做子像素反卷积(Sub‑Pixel Deconvolution)后得到前一时刻HR帧的子图#imgabs4#使用光流图#imgabs5#对前一时刻HR帧的子图#imgabs6#进行运动补偿,得到运动补偿后的HR帧的子图#imgabs7#最后,将当前LR帧#imgabs8#和运动补偿后的HR帧的子图#imgabs9#输入到多列3D卷积网络中重建得到当前的HR帧#imgabs10#重建得到当前的HR帧#imgabs11#和当前LR帧#imgabs12#也被用来重建下一时刻的HR帧#imgabs13#循环该算法,可以重建得到整个视频序列的HR帧。本发明方法在Vid4视频数据集上进行试验,都具有较高的鲁棒性和准确性。

    一种全景图像盲质量评估方法

    公开(公告)号:CN111127298B

    公开(公告)日:2023-05-16

    申请号:CN202010096567.9

    申请日:2020-02-13

    Applicant: 上海大学

    Inventor: 王永芳 夏雨蒙

    Abstract: 本发明公开了一种全景图像盲质量评估方法。首先,依据人眼视觉系统通过结构特征理解图像的特点,使用梯度域的局部二值模式算子在ERP投影平面上提取结构特征,然后计算出球面与投影平面之间的映射关系以得到权重关系,进一步将权重关系与结构特征进行结合,得到加权映射的结构特征。最后,使用支持向量回归建立本发明所述的全景图像无参评估模型,将提取的结构特征从特征空间映射到失真图像的质量分数。本发明方法在公开的全景图像主观质量评价数据库上进行实验,证明其与主观感知有较高的一致性。

    基于内容的视频包优先级分配方法

    公开(公告)号:CN107371029B

    公开(公告)日:2020-10-30

    申请号:CN201710503913.9

    申请日:2017-06-28

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于内容的视频包优先级分配方法,首先,根据NAL类型得到初始的slice优先级顺序,参数集优先级最高,I帧、P帧的优先级次高。然后用显著性加权的结构相似性来表示空域感知重要性,用运动活动性表示时域感知重要性,并联合得到空时域感知优先级。将优先级信息写入到NAL头文件中避免了产生额外的码流开销。信道解析NAL头文件,获取NAL类型和时空域感知优先级指标,从而确定每个视频包的优先级顺序。在丢包网络环境中,从低优先级开始丢弃,对高优先级的视频包予以保护。在解码端采用拷贝前一帧的简单方法进行错误隐藏得到解码视频。本发明方法在相同丢包率的情况下,视频质量比随机丢包方法得到的视频质量高,提高了视频传输的鲁棒性。

    一种全景图像盲质量评估方法

    公开(公告)号:CN111127298A

    公开(公告)日:2020-05-08

    申请号:CN202010096567.9

    申请日:2020-02-13

    Applicant: 上海大学

    Inventor: 王永芳 夏雨蒙

    Abstract: 本发明公开了一种全景图像盲质量评估方法。首先,依据人眼视觉系统通过结构特征理解图像的特点,使用梯度域的局部二值模式算子在ERP投影平面上提取结构特征,然后计算出球面与投影平面之间的映射关系以得到权重关系,进一步将权重关系与结构特征进行结合,得到加权映射的结构特征。最后,使用支持向量回归建立本发明所述的全景图像无参评估模型,将提取的结构特征从特征空间映射到失真图像的质量分数。本发明方法在公开的全景图像主观质量评价数据库上进行实验,证明其与主观感知有较高的一致性。

    基于内容的HEVC码流质量预测模型

    公开(公告)号:CN107046639B

    公开(公告)日:2019-02-01

    申请号:CN201610928733.0

    申请日:2016-10-31

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于内容的HEVC码流质量预测模型,包括视频特征提取模块,内容类型分类矩阵计算模块和质量预测模型模块,视频特征提取模块利用码流中提取的视频特征信息,在内容类型分类矩阵计算模块中建立内容相关矩阵,然后利用内容相关矩阵通过质量预测模型模块建立视频质量预测模型,从而预测视频质量。内容类型分类矩阵计算模块包括时域复杂度子模块、空域复杂度子模块、码率标准差子模块和非零变换系数百分比子模块。本发明能保证低复杂度的情况下,利用码流中信息预测编码视频质量,预测精度高于其他算法。

    基于内容的HEVC码流质量预测模型

    公开(公告)号:CN107046639A

    公开(公告)日:2017-08-15

    申请号:CN201610928733.0

    申请日:2016-10-31

    Applicant: 上海大学

    CPC classification number: H04N17/00 H04N19/154 H04N19/48

    Abstract: 本发明公开了一种基于内容的HEVC码流质量预测模型,包括视频特征提取模块,内容类型分类矩阵计算模块和质量预测模型模块,视频特征提取模块利用码流中提取的视频特征信息,在内容类型分类矩阵计算模块中建立内容相关矩阵,然后利用内容相关矩阵通过质量预测模型模块建立视频质量预测模型,从而预测视频质量。内容类型分类矩阵计算模块包括时域复杂度子模块、空域复杂度子模块、码率标准差子模块和非零变换系数百分比子模块。本发明能保证低复杂度的情况下,利用码流中信息预测编码视频质量,预测精度高于其他算法。

    基于恰可觉察失真模型的快速自适应环路滤波算法

    公开(公告)号:CN105141967A

    公开(公告)日:2015-12-09

    申请号:CN201510396817.X

    申请日:2015-07-08

    Applicant: 上海大学

    Abstract: 一种基于恰可觉察失真模型的快速自适应环路滤波算法,包括建立JND模型、利用所述JND模型将图像帧划分为感兴趣区域ROI和非感兴趣区域RONI,利用Canny算子将RONI划分为感兴趣平滑区域RONISR和感兴趣纹理区域RONITR,利用Canny算子将ROI划分为感兴趣平滑区域ROISR和感兴趣纹理区域ROITR:自适应滤波步骤。本发明针对HEVC编码结构,结合像素域JND模型和Canny算子,对ALF方法进行优化,去除视频中的感知冗余,提高编码效率;它可以快速找出不要ALF处理的区域,在不影响质量的情况下,大大降低自适应环路滤波器算法的复杂度。

    一种利用视觉特性的多视点视频编码系统

    公开(公告)号:CN102420988B

    公开(公告)日:2013-11-20

    申请号:CN201110394257.6

    申请日:2011-12-02

    Applicant: 上海大学

    Abstract: 本发明涉及多视点视频编解码技术领域,尤其涉及一种利用视觉特性的多视点视频编码系统。本发明包括DCT域的最小可察觉失真阈值计算模块、多视点视频编码模块,其中,DCT域的最小可察觉失真阈值计算模块包括空间对比灵敏度函数子模块、背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块,多视点视频编码模块包括预测编码子模块、DCT编码子模块、DCT域滤波子模块、量化和熵编码子模块、视频序列重建子模块、率失真优化子模块,本发明通过建立DCT域的JND模型,并将其运用到多视点视频编码中的DCT域滤波和率失真优化模块。本发明能够在主观质量不变的情况下,降低多视点视频编码码率,提高多视点视频编码效率。

    一种改进的自适应权重视差匹配方法

    公开(公告)号:CN103236057A

    公开(公告)日:2013-08-07

    申请号:CN201310144894.7

    申请日:2013-04-24

    Applicant: 上海大学

    Abstract: 本发明涉及一种自适应权重立体匹配方法。本方法的操作步骤如下:(1)计算自适应权重;(2)基于权重的匹配代价计算;(3)视差的选取。本发明在原有的自适应权重匹配算法的基础上,既利用分割的色彩区域分别进行权重的计算,又考虑了自适应权重基于区域的相似性和接近性的影响差异,能够获得较高的匹配精确度。

    一种基于MSPTS-Net网络模型的短时降水预测方法

    公开(公告)号:CN119516206A

    公开(公告)日:2025-02-25

    申请号:CN202411550745.5

    申请日:2024-11-01

    Applicant: 上海大学

    Inventor: 王永芳 高智慧

    Abstract: 本申请提供一种基于MSPTS‑Net网络模型的短时降水预测方法,包括:获取由雷达回波图像构成的雷达回波数据集;基于MSPTS‑Net构建网络模型,在MSPTS‑Net的框架中嵌入时空特征提取与融合机制,生成最初短时降雨预测模型;利用雷达回波数据集,对最初短时降雨预测模型进行训练,并通过组合的损失函数进行反向调优优化网络参数,得到最终短时降雨预测模型;将待测雷达回波图像输入最终短时降雨预测模型,得到短时降水预测结果。本申请通过MSPTS‑Net模型能够更全面地捕捉雷达回波数据中的时空变化信息,利用多尺度特征提取和自注意力融合机制,处理不同时间尺度和空间尺度的数据变化,结合组合损失函数,模型训练过程更加高效,能够更快地收敛到最优解,提高短时降雨预测的精度。

Patent Agency Ranking