-
公开(公告)号：CN115361557A
公开(公告)日：2022-11-18
申请号：CN202210992815.7
申请日：2022-08-18
Applicant: 杭州电子科技大学
IPC: H04N19/154 , H04N19/149 , H04N19/176 , H04N19/182 , H04N13/128 , H04N13/161
Abstract: 本发明方法公开了结合注意力机制的立体图像舒适度预测方法。本发明方法首先通过对输入的左、右视点图像分别进行半重叠采样，得到多个图像块对作为模型输入，分别得到低、中、高级特征的相加特征图和相减特征图；然后分别将低、中、高级特征的相加和相减特征图拼接成新的特征块，输入并行双注意力模块进行注意力加权；将低、中、高级特征的通道和空间注意力加权特征拼接成新的特征块，并分别输入对应的次要子网络，最终得到三个次要子网络的输出特征向量，合并三个次要子网络的输出特征向量，并输入用于回归预测的全连接层网络进行舒适度回归预测。本发明方法不仅降低了流程复杂度，还规避了因视差计算不准确带来的影响。
-
公开(公告)号：CN115297316A
公开(公告)日：2022-11-04
申请号：CN202210963297.6
申请日：2022-08-11
Applicant: 杭州电子科技大学
Abstract: 本发明方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明方法首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明根据3D‑warpintg、空洞和前景之间的位置关系和注意力机制原理，改进了已有的注意力提取特征的方法，尤其是在视频序列中包含快速运动的物体在修复工作中起重要作用。本发明加强了同一空洞区域的连续特征块之间的联系，消除前景信息对背景区域修复的影响，可以直接应用在3D视频处理，3D视频/图像物体修复等领域。
-
Patent Agency Ranking
公开(公告)号：CN115297316B
公开(公告)日：2024-09-06
申请号：CN202210963297.6
申请日：2022-08-11
Applicant: 杭州电子科技大学
IPC: H04N13/271 , G06T5/50 , G06T7/13 , G06T5/20 , G06N3/0464 , G06N3/08 , G06T5/60
Abstract: 本发明方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明方法首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明根据3D‑warping、空洞和前景之间的位置关系和注意力机制原理，改进了已有的注意力提取特征的方法，尤其是在视频序列中包含快速运动的物体在修复工作中起重要作用。本发明加强了同一空洞区域的连续特征块之间的联系，消除前景信息对背景区域修复的影响，可以直接应用在3D视频处理，3D视频/图像物体修复等领域。
-
公开(公告)号：CN115426535A
公开(公告)日：2022-12-02
申请号：CN202211065539.6
申请日：2022-09-01
Applicant: 杭州电子科技大学
IPC: H04N21/81 , H04N13/117 , H04N13/128 , H04N13/15 , H04N13/161 , H04N13/366
Abstract: 本发明方法公开了基于背景分离的RGB‑D视频合成视点空洞掩盖方法。本发明方法以参考彩色图、参考深度图和相机信息为单位，利用加入并行注意力的P‑UNet网络分离彩色图前景、根据参考深度图前景与背景之间的像素突变分离前景，将两种方法的背景结合并使用高斯混合模型构建更干净的背景；使用基于深度和时间一致性的修复方法修复背景；然后根据3D变换公式和相机信息绘制出虚拟视点和虚拟背景，并再次修复虚拟背景；最后使用虚拟背景填充虚拟视点空洞中的缺失像素。本发明避免了修复时产生前景渗透，生成的空洞区域在相邻帧之间更有时间一致性，减少视频播放时的帧闪，提高了视觉质量。
-
公开(公告)号：CN115361557B
公开(公告)日：2025-03-25
申请号：CN202210992815.7
申请日：2022-08-18
Applicant: 杭州电子科技大学
IPC: H04N19/154 , H04N19/149 , H04N19/176 , H04N19/182 , H04N13/128 , H04N13/161
Abstract: 本发明方法公开了结合注意力机制的立体图像舒适度预测方法。本发明方法首先通过对输入的左、右视点图像分别进行半重叠采样，得到多个图像块对作为模型输入，分别得到低、中、高级特征的相加特征图和相减特征图；然后分别将低、中、高级特征的相加和相减特征图拼接成新的特征块，输入并行双注意力模块进行注意力加权；将低、中、高级特征的通道和空间注意力加权特征拼接成新的特征块，并分别输入对应的次要子网络，最终得到三个次要子网络的输出特征向量，合并三个次要子网络的输出特征向量，并输入用于回归预测的全连接层网络进行舒适度回归预测。本发明方法不仅降低了流程复杂度，还规避了因视差计算不准确带来的影响。
-
公开(公告)号：CN115426535B
公开(公告)日：2024-08-27
申请号：CN202211065539.6
申请日：2022-09-01
Applicant: 杭州电子科技大学
IPC: H04N21/81 , H04N13/117 , H04N13/128 , H04N13/15 , H04N13/161 , H04N13/366
Abstract: 本发明方法公开了基于背景分离的RGB‑D视频合成视点空洞掩盖方法。本发明方法以参考彩色图、参考深度图和相机信息为单位，利用加入并行注意力的P‑UNet网络分离彩色图前景、根据参考深度图前景与背景之间的像素突变分离前景，将两种方法的背景结合并使用高斯混合模型构建更干净的背景；使用基于深度和时间一致性的修复方法修复背景；然后根据3D变换公式和相机信息绘制出虚拟视点和虚拟背景，并再次修复虚拟背景；最后使用虚拟背景填充虚拟视点空洞中的缺失像素。本发明避免了修复时产生前景渗透，生成的空洞区域在相邻帧之间更有时间一致性，减少视频播放时的帧闪，提高了视觉质量。
-
公开(公告)号：CN116800949A
公开(公告)日：2023-09-22
申请号：CN202310631949.0
申请日：2023-05-30
Applicant: 杭州电子科技大学
IPC: H04N17/00 , H04N13/00 , G06N3/0464
Abstract: 本发明涉及立体图像舒适度技术领域，为解决评估立体图像感知不适度问题，本发明采用了一种基于深度学习的立体图像舒适度预测方法以预测立体图像舒适度的问题，其首先根据左右视点图像构建RGB独眼图，然后利用3D显著图裁剪得到RGB独眼图图像块，并将RGB独眼图图像块输入卷积神经网络，通过计算输出预测值均值得到立体图像舒适度最终预测值。本发明通过对红、绿和蓝三通道单独计算独眼图，保留了立体图像的彩色信息，并且基于显著性对立体图像进行图像裁剪，扩充了用于模型训练的样本，最大程度上保留了观看者最关注的图像区域。通过添加分组加权注意力模块对CSP‑Net模型进行了创造性改进优化，提高了计算效率。
-
-
-
-
-
-
Search Results
7
records
(took 0.019 seconds)
