-
公开(公告)号:CN114463408B
公开(公告)日:2025-03-11
申请号:CN202111564607.9
申请日:2021-12-20
Applicant: 北京邮电大学
Abstract: 本申请提供一种自由视点图生成方法、装置、设备及存储介质,该方法包括:通过特征提取网络结合多视点图的内外参数,提取多视点图的特征,以及结合无监督立体匹配网络得到最终目标视点深度图;通过卷积神经网络对多视点图进行特征提取,得到多视点图的多张待处理深度编码图;通过DIBR方法结合最终目标视点深度图将各张待处理深度编码图进行投影,得到多张目标深度编码图;通过预设聚合模块将各张目标深度编码图进行融合,得到目标视点编码图,以及通过全卷积网络对目标视点编码图进行解码,得到目标自由视点图。本申请实施例提供的自由视点图生成方法通过深度估计将多视点图生成虚拟的目标自由视点图,使得目标自由视点图具有高准确性。
-
公开(公告)号:CN114401391B
公开(公告)日:2023-01-06
申请号:CN202111501866.7
申请日:2021-12-09
Applicant: 北京邮电大学 , 班度科技(深圳)有限公司
IPC: H04N13/111 , H04N13/106 , H04N13/122 , H04N13/261
Abstract: 本申请提供一种虚拟视点生成方法及装置。所述方法包括:根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵,对由各双目相机采集到的多视点目标图像进行单应变换,获取水平多视点图像;将水平多视点图像输入训练好的视差估计模型中,获取视差图像;根据不同位置对应的控制因子对视差图像进行加权,以根据加权后的视差图像和水平多视点图像进行前向映射,生成虚拟视点图像;其中,视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。本申请实施例提供的虚拟视点生成方法可以提高虚拟视点的生成效率。
-
公开(公告)号:CN113095333B
公开(公告)日:2022-08-05
申请号:CN202110214381.3
申请日:2021-02-25
Applicant: 北京邮电大学
Abstract: 本发明提供一种无监督特征点检测方法及装置,该方法包括:利用编码器网络对训练图像提取特征,得到K个通道的特征图,归一化后生成特征点位置概率分布图;对所述概率分布图求解质心后,基于所述质心对概率分布图进行高斯重构;将高斯重构后特征图,输入解码器网络得到输出图像,根据输入图像、输出图像、概率分布图和高斯重构后特征图,确定预设损失函数的损失值;根据多次训练结果,得到损失函数最小时的编码器网络;基于训练后的编码器网络,确定待检测图像的K个特征点位置。该方法无需手工标注特征点位置来进行有监督学习,可有效避免人工标注的人力成本和人工标注带来的主观错误,同时能够提高检测效率。
-
公开(公告)号:CN114463256A
公开(公告)日:2022-05-10
申请号:CN202111590567.5
申请日:2021-12-23
Applicant: 北京邮电大学
Abstract: 本申请涉及图像处理技术领域,提供一种基于立体视图的深度预测方法、装置、设备及存储介质,该方法包括:通过卷积神经网络对左视点图和右视点图进行预测,得到第一中间视点图及其视差图;通过逆向映射方法结合左视点图、右视点图和第一中间视点图的视差图,得到中间视点图对;若存在中间视点标签,则根据中间视点标签、第一中间视点图和中间视点图对进行计算,得到差异性损失;根据反向传播算法对差异性损失进行最小化,得到目标中间视点图及其视差图,根据目标中间视点图及其视差图进行深度预测。本申请实施例提供的基于立体视图的深度预测方法同时估计目标中间视点图及其视差图,借助目标中间视点图的几何约束,提高了场景深度的准确度。
-
公开(公告)号:CN114399553B
公开(公告)日:2025-03-14
申请号:CN202111467673.4
申请日:2021-12-03
Applicant: 北京邮电大学
IPC: G06T7/80 , G06T7/62 , G06N3/08 , G06N3/0464
Abstract: 本申请提供一种基于相机姿态的虚拟视点生成方法及装置。所述方法包括:根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数,构建与所述匹配点对对应的三维点;根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数,对各所述三维点进行重投影,确定与所述相机姿态对应的虚拟视点图像。本申请实施例提供的基于相机姿态的虚拟视点生成方法可以提高虚拟视点的生成效率。
-
公开(公告)号:CN114429531A
公开(公告)日:2022-05-03
申请号:CN202111499262.3
申请日:2021-12-09
Applicant: 北京邮电大学 , 班度科技(深圳)有限公司
Abstract: 本发明提供一种虚拟视点图像的生成方法及装置,该方法包括:基于输入视点的相机参数和第一图像,提取当前场景的三维模型;基于三维模型和目标虚拟视点的相机参数,获取目标虚拟视点的第一目标图像;将第二图像和第一目标图像输入至图像处理模型,得到目标虚拟视点的第二目标图像。本发明提供的虚拟视点图像的生成方法及装置,通过第一目标图像恢复对应三维场景的几何信息,以及第二目标图像恢复对应三维场景的光照和色彩信息,获取目标虚拟视点图像,能提高3D光场信息重建的准确性和效率。
-
公开(公告)号:CN114429496B
公开(公告)日:2025-03-14
申请号:CN202111520396.9
申请日:2021-12-13
Applicant: 北京邮电大学
IPC: G06T7/593 , G06N3/0464 , G06N3/096 , G06N3/09 , G06N3/0985
Abstract: 本发明提供一种基于可学习超像素引导的视差优化方法及装置,其中方法包括:获取用户输入的第一图和第二图;将第一图和第二图输入至视差优化模型,获得视差优化模型输出的视差图;其中,第一图和第二图是由双目摄像机对同一拍摄对象拍摄获得的;视差优化模型是基于数据集进行训练后得到的,用于在超像素引导下对视差进行优化;数据集包括图片样本以及对应的真实语义图、空间位置图和真实视差图;真实语义图、空间位置图和真实视差图是根据图片样本预先确定的,并与图片样本一一对应。本发明实施例提供的基于可学习超像素引导的视差优化方法及装置,实现了超像素网络和视差网络之间的有效交互。
-
公开(公告)号:CN113095333A
公开(公告)日:2021-07-09
申请号:CN202110214381.3
申请日:2021-02-25
Applicant: 北京邮电大学
Abstract: 本发明提供一种无监督特征点检测方法及装置,该方法包括:利用编码器网络对训练图像提取特征,得到K个通道的特征图,归一化后生成特征点位置概率分布图;对所述概率分布图求解质心后,基于所述质心对概率分布图进行高斯重构;将高斯重构后特征图,输入解码器网络得到输出图像,根据输入图像、输出图像、概率分布图和高斯重构后特征图,确定预设损失函数的损失值;根据多次训练结果,得到损失函数最小时的编码器网络;基于训练后的编码器网络,确定待检测图像的K个特征点位置。该方法无需手工标注特征点位置来进行有监督学习,可有效避免人工标注的人力成本和人工标注带来的主观错误,同时能够提高检测效率。
-
公开(公告)号:CN112926596A
公开(公告)日:2021-06-08
申请号:CN202110185464.4
申请日:2021-02-10
Applicant: 北京邮电大学
Abstract: 本发明提供一种基于循环神经网络的实时超像素分割方法及系统,该方法包括:提取输入图像的特征,并对所述图像进行超像素关联图初始化;基于预设训练好的循环神经网络,对所述输入图像进行实时超像素分割,所述循环神经网络的输入是由超像素关联图初始化提取的初始输入和初始隐向量确定。本发明结合深度神经网络在特征提取和计算速度方面的优势,以及传统K‑means迭代聚类方法在超像素分割任务上的有效性和简单性,实现了实时超像素分割。
-
公开(公告)号:CN108803053B
公开(公告)日:2020-05-05
申请号:CN201810573895.6
申请日:2018-06-06
Applicant: 北京邮电大学
IPC: G02B30/27 , G02F1/1335 , G02F1/29
Abstract: 本发明实施例提供一种三维光场显示系统,包括背光源、液晶面板、柱透镜光栅、全息功能屏和狭缝光栅;背光源用于向液晶面板投射光线;沿光线的传播方向依次布置有液晶面板、柱透镜光栅、全息功能屏和狭缝光栅;液晶面板用于调制背光源投射的光线;柱透镜光栅用于基于调制后的光线提供具有立体效果的单视差光场;全息功能屏用于发散柱透镜光栅提供的光场,使观察者从不同的角度都能看到柱透镜光栅提供的光场;狭缝光栅用于基于发散后的光场提供具有立体效果的全视差光场。本发明实施例通过设置柱透镜光栅提供具有立体效果的单视差光场、全息功能屏发散广场,以及狭缝光栅提供具有立体效果的全视差光场,三者相互配合工作,能够实现全视差观看。
-
-
-
-
-
-
-
-
-