-
公开(公告)号：CN118784845A
公开(公告)日：2024-10-15
申请号：CN202410741652.4
申请日：2024-06-11
Applicant: 杭州电子科技大学
IPC: H04N19/172 , H04N19/20 , G06V10/80 , G06V10/82 , G06T7/246 , G06T7/269 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了基于多阶层特征融合的虚拟视点绘制空洞填充方法，将局部连续帧和非局部随机帧，通过多阶层编码进行特征细化，从空洞区域以外的已知区域传播时空信息，得到局部特征块和非局部特征块；对局部连续帧进行光流补全，得到带有空洞的相邻帧的光流特征，用于检测虚拟视点序列中的运动对象，以引导特征传播，特征传播结合所述局部特征块，传递和更新运动对象的信息，缓解了前背景混叠问题；将更新后的特征和非局部特征块进行内容重建，再解码重构得到空洞修复帧，加入多头时空自注意力模块和融合前馈神经网络，有利于聚合不同特征的信息，充分利用局部和非局部相邻帧的特征，较好处理伪影的问题。
-
公开(公告)号：CN117036539A
公开(公告)日：2023-11-10
申请号：CN202311168862.0
申请日：2023-09-12
Applicant: 杭州电子科技大学
Abstract: 本发明公开了一种基于深度学习的虚拟视点绘制空洞填充方法及装置，基于原图及其掩膜图，得到待修复图，将待修复图和掩膜图输入渐进式迭代网络，渐进式迭代网络通过部分卷积对待修复图进行局部空洞识别，并基于知识一致注意力机制进行空洞填充，构建损失函数以提升背景空洞区域和已知区域的语义一致性；构建上下文特征传播损失，融入步骤S1中构建的损失函数，将渐进式迭代网络的输出，进行相似性编码，得到图像块和非空洞区域图像块的相似度，基于相似度，使得背景空洞生成具有语义一致性的填充块；将渐进式迭代网络的输出，进行加权合并，得到最终的修复图。
-
公开(公告)号：CN118691507A
公开(公告)日：2024-09-24
申请号：CN202410682107.2
申请日：2024-05-29
Applicant: 杭州电子科技大学
IPC: G06T5/77 , G06T5/60 , G06N3/0475 , G06N3/0464 , G06N3/045 , G06N3/048 , G06N3/094
Abstract: 本发明公开了一种虚拟视点合成图像的空洞填充方法。本发明方法首先构建生成器，生成器包括下采样层、DCSW Transformer层、特征聚合残差层、全局‑局部融合模块和上采样层；然后构建鉴别器，鉴别器采用基于块的生成对抗网络PatchGAN，包括5个卷积层；构建总损失函数，由L1损失、边缘损失、感知损失、HVS总损失和对抗损失构成；训练生成器和鉴别器，配合生成器网络重构空洞区域的内容和纹理；最后利用训练后的生成器对原始图像进行空洞填充。本发明在虚拟视点空洞填充任务中的具有高效性和优越性能，能够广泛应用于不同的虚拟视点合成场景，具有显著实用价值和推广潜力。
-
公开(公告)号：CN117372461A
公开(公告)日：2024-01-09
申请号：CN202311312683.X
申请日：2023-10-11
Applicant: 杭州电子科技大学
IPC: G06T7/13 , G06T3/04 , G06T5/77 , G06T7/10 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06N3/048 , G06N3/084
Abstract: 本发明公开了全局和局部多尺度动态虚拟视点空洞填充方法。本发明首先使用自适应动态模块生成最匹配的卷积核权重，提高了图像重建性能，加速了网络训练的收敛；然后引入了的全局和局部多尺度增强模块学习丰富的多尺度特征，将多尺度上下文信息注入到缺失区域并通过浅层特征与深层特征自适应加权融合，增强了局部特征到整体一致性的连接。在生成器中加入动态卷积模块，提高视觉任务中的性能，同时降低计算成本。本发明通过注意力机制允许网络更好地适应不同输入特征，尤其在处理复杂场景时表现出鲁棒性；使用多膨胀率的扩张卷积来捕获不同尺度特征，引入跨尺度特征融合以及局部和全局残差结构，提高对虚拟视点合成中的空洞区域进行精确填充的能力。
-
-
-
Search Results
4
records
(took 0.025 seconds)
