公开(公告)号：CN118646896A

公开(公告)日：2024-09-13

申请号：CN202411023544.X

申请日：2024-07-29

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  李幸 ,  王裕民 ,  谢承凯 ,  卢庆 ,  赵俊能 ,  殷海兵 ,  黄晓峰

IPC: H04N19/59 ,  H04N19/52 ,  H04N19/192 ,  H04N19/86 ,  H04N19/30 ,  H04N19/169 ,  H04N19/102

Abstract: 本发明公开了一种全景视频插帧方法。本发明方法通过全局网络和融合网络实现，每个网络完成特定功能，共同完成视频插帧任务。全局网络包括ERP特征提取模块、串并行编解码模块、自适应运动扭曲预测模块和细化网络模块。ERP特征提取模块采用两个单独的多尺度特征提取模块，自适应运动扭曲预测模块包括权重预测层、水平偏移预测层、垂直偏移预测层和掩膜预测层，细化网络模块包括三层编码器和三层解码器。融合网络包括局部中间帧生成模块、纹理提取模块和多通道融合模块。本发明设计的网络结构能更好地捕获全景图像的特征和扭曲运动轨迹，从而显著提高了全景视频插帧算法的性能和效果，以满足不断增长的全景视频应用需求。

公开(公告)号：CN119449979A

公开(公告)日：2025-02-14

申请号：CN202411264570.1

申请日：2024-09-10

Applicant: 杭州电子科技大学

Inventor： 周洋 ,  王裕民 ,  李幸 ,  谢承凯 ,  卢庆 ,  殷海兵 ,  黄晓峰

IPC: H04N7/01 ,  G06V20/40 ,  G06V10/44 ,  G06V10/54 ,  G06V10/56 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于双向分离相关量的全景视频插帧方法。本发明方法首先提取输入图像的外观特征和相关量特征，然后利用相关量特征进行成本聚合获得初始光流，对初始光流进行迭代更新得到细化光流、最终特征值、掩膜和残差信息，最后对各信息进行融合，得到插帧图像。本发明采用了成本聚合的方法来分离生成的相关量，更有效地处理全景视频中存在的运动各向异性和运动分布的不均匀的特殊问题，有效地解决因不同维度投影的采样率差异所造成的伪影和估计不准确的问题。本发明更好地适应不同纬度上的运动幅度差异所引起的运动查询误差，进而提高光流预测的精度，并最终获得质量更高的中间帧。

公开(公告)号：CN118570107A

公开(公告)日：2024-08-30

申请号：CN202410816334.X

申请日：2024-06-24

Applicant: 杭州电子科技大学

Inventor： 谢承凯 ,  周洋 ,  卢庆 ,  王裕民 ,  李幸 ,  殷海兵 ,  黄晓峰 ,  赵俊能

IPC: G06T5/77 ,  G06T5/60 ,  G06V10/25 ,  G06V10/40 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094

Abstract: 本发明公开了一种基于核变换和掩膜引导归一化全景图像修复方法，通过卷积核变化提取全景图像中的特征信息，可以更好的完成存在大量扭曲的全景图像修复任务，使得修复的结果更加合理真实，符合人的视觉体验；通过多头自注意力机制来学习全景图像中的长程特征信息；通过掩膜引导归一化区域，可以对归一化过程进行自适应调整，灵活指示哪些样本或特征应该参与归一化过程，同时对于输入数据存在缺失的情况，掩膜引导归一化可以通过忽略缺失值的计算或将其视为无效样本，从而更好地处理缺失数据的情况，这有助于提高模型在存在缺失值的情况下的鲁棒性。该方法可以直接应用在全景图像、视频修复等领域。