-
公开(公告)号:CN119273813B
公开(公告)日:2025-03-04
申请号:CN202411823713.8
申请日:2024-12-12
Applicant: 南京邮电大学
IPC: G06T11/60 , G06T7/11 , G06T7/70 , G06T3/60 , G06T7/80 , G06T3/4038 , G06T3/4046 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于相机位姿光场编码的新视点图像合成方法,包括:设计了一种两阶段训练的场景新视点合成模型;确定了一种位姿光场编码方案,将视点位姿编码为目标分辨率的位姿光场;提供了一种有效的训练策略;有益效果是:本发明基于Transformer模块的优势,训练了一个具备大量先验的场景潜在表示编码模型与一个场景新视点合成模块。再通过引入一种位姿光场编码,解决了视点控制不精确的问题,并优化了传统的基于像素光线渲染的生成速度。本发明在训练中引入了一个目标位姿的随机加噪过程,有效避免了第二阶段训练中对特定目标位姿的过拟合现象,使得生成模型的泛化性与生成质量都得到了较大提升。
-
公开(公告)号:CN117036586A
公开(公告)日:2023-11-10
申请号:CN202310634252.9
申请日:2023-05-31
Applicant: 南京邮电大学
IPC: G06T17/00 , G06T3/40 , G06V10/80 , G06N3/0464 , G06N3/0455 , G06N3/08
Abstract: 一种基于全局特征建模的多平面图像(Multiplane Images,MPI)新视点合成方法(TransMPI)。该方法的MPI生成网络首先利用3D编码器捕获多个深度平面之间的局部空间特征,提高MPI深度平面遮挡区域的预测能力,同时为了克服3D卷积神经网络(Convolutional Neural Network,CNN)对全局语义信息学习的局限性,引入了Transformer自注意力机制,TransMPI通过结合Transformer编码器进行全局特征表示建模,以在全局空间中建立长距离依赖关系。实验结果表明,TransMPI通过利用自注意力机制对连续深度平面之间的全局特征和局部特征的学习,进一步提高了MPI场景表示的推理质量,并提高了新视点合成图像的质量。
-
公开(公告)号:CN114666564A
公开(公告)日:2022-06-24
申请号:CN202210288938.2
申请日:2022-03-23
Applicant: 南京邮电大学
IPC: H04N13/221 , H04N13/293 , H04N13/282 , H04N13/111 , H04N13/156 , H04N13/15 , H04N13/106 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种在多视图立体跨视图损失的基础上利用隐式神经场景表示进行虚拟视点图像合成的方法,适用于计算机视觉领域。本方法包括:获取需产生虚拟视点的图像数据集;对训练图像数据集进行预处理,在预处理阶段基于特征匹配算法Sift对输入的训练图像数据集进行特征点提取和匹配;将获得的训练图像数据和所提取特征点信息经处理后输入多层感知器网络中进行训练;将测试图像数据输入训练好的多层感知器网络,后通过体渲染得到测试的渲染图像;基于训练好的多层感知器网络生成虚拟视点图像。由此通过减少神经网络在训练拟合场景表示时的数据量,及结合图像深度信息进行集中采样,能提高神经场景表示的运算速度与性能,生成高质量虚拟视点图像。
-
公开(公告)号:CN113282744A
公开(公告)日:2021-08-20
申请号:CN202110629883.2
申请日:2021-06-07
Applicant: 南京邮电大学
IPC: G06F16/34 , G06F16/31 , G06F40/216 , G06Q50/00
Abstract: 本发明公开了一种基于节点影响力度量的文学作品人物关系可视化分析方法。属于信息处理技术领域,操作步骤:对小说文本数据进行预处理;利用人物节点信息计算人物相互作用,创建交互字典;构建社交网络图与中心性度量表;提出节点影响力评价标准,计算节点影响力;依据所述影响力评价标准进行文学分析。本发明利用计算机对大量的文本数据进行处理,节约大量人力资源;并且,不仅借助定量分析法中的数学内容作为研究的基础,对研究内容进行量化,提高定性判断的准确性;还借助数据的形式描述研究过程,分析的过程和结果可以检验;故无论研究者自身才识、审美等水平如何,对同一数据采用同样的实验方法都会得出相同的结果。
-
公开(公告)号:CN108846858A
公开(公告)日:2018-11-20
申请号:CN201810558047.8
申请日:2018-06-01
Applicant: 南京邮电大学
Abstract: 本发明公开了一种计算机视觉的立体匹配算法,基于全连接神经网络和边缘感知视差传播(Edge-aware Disparity Propagation,EDP)实现,其包括步骤:首先,通过全连接神经网络计算输入立体图像对的初始匹配代价,并利用WTA算法找出对应的视差值,生成初始视差图;然后,进行一致性检测,并采用EDP算法和测地距滤波重构视差不一致区域的匹配代价,获得不一致区域的新的视差值,并将其填充到孔洞视差图中,获得完整的视差图;最后,经过亚像素增强优化生成最终的视差图。实验数值表明,应用本发明该算法能有效降低立体匹配的误匹配率,提高视差图精度,特别是在非闭塞区域有较低的误匹配率。
-
公开(公告)号:CN107369158A
公开(公告)日:2017-11-21
申请号:CN201710442910.9
申请日:2017-06-13
Applicant: 南京邮电大学
Abstract: 本发明公开一种基于RGB-D图像的室内场景布局估计及目标区域提取方法,包括:场景布局估计;利用基于图的分割算法与约束参数最小割算法对预处理后的深度图与RGB图做过分割,得到不同大小的区域集合;过分割层次分组,利用四种不同的相似度衡量方式进行区域合并以完成区域层次分组,获取所有尺度大小的目标区域;以及目标边界框匹配。本发明实现了室内场景的高效、高召回率的目标区域提取。
-
公开(公告)号:CN116934825A
公开(公告)日:2023-10-24
申请号:CN202310918311.5
申请日:2023-07-25
Applicant: 南京邮电大学
Abstract: 本发明属于计算机视觉领域,公开了一种基于混合神经网络模型的单目图像深度估计方法,包括:给定RGB图像和真实深度值,进行标准化操作,将RGB图像经过卷积模块,得到浅层的图像特征,然后将特征划分为块,进行不同区域的特征强化,得到带有重要程度判别的特征并将该特征依次经过Transformer模块,得到深层的特征,将浅层的图像特征与深层的特征组成图像特征序列,进行特征融合,得到完整的特征表示后利用深度信息输出块,获得的深度图,将深度图与真实深度值进行误差分析,得到最终的网络模型,完成深度估计。本发明建立了局部信息和远距离依赖关系,增强了对空间特征的捕获和对局部结构的表达,实现更准确的深度估计结果。
-
公开(公告)号:CN116258757A
公开(公告)日:2023-06-13
申请号:CN202310298112.9
申请日:2023-03-24
Applicant: 南京邮电大学
Abstract: 一种基于多尺度交叉注意力的单目图像深度估计方法,利用卷积神经网络和视觉Transformer优势互补,发挥卷积神经网络对局部特征捕获优势和Transformer对全局特征建立远距离依赖优势,提高对信息的保留能力,从而提高生成深度图的质量;通过交叉注意力机制,有效控制不同区域像素的注意力计算强度,均衡捕获局部特征和全局特征的能力,优化深度图整体结构,提高估计深度图的细粒度,同时估计的深度更为自然;提高图像局部特征和全局特征的捕获能力,解决单目深度估计方法中深度结构不够自然的问题,同时显著提高细节特征表达能力,解决单目深度估计细节不够丰富的问题;缓解基于视觉Transformer的单目深度估计方法计算资源的耗费巨大的问题,同时弥补Transformer对局部特征的弱敏感性。
-
公开(公告)号:CN115115685A
公开(公告)日:2022-09-27
申请号:CN202210634004.X
申请日:2022-06-07
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于自注意力神经网络的单目图像深度估计算法,本方法中对单目图像进行低级特征预处理,利用自注意力神经网络建立远距离连接,对图像低级特征进行高级特征编码,快速获得图像全局信息,同时采用一种token注意力增强自注意力网络特征表达能力,最后将低级特征与高级特征进行特征融合并进行深度信息解码,针对不同场景的深度范围的尺度差异以及深度图边缘模糊等问题,本发明采用一种尺度不变损失和边缘梯度不变损失函数监督网络学习仿射不变性深度信息。本发明可以快速生成深度信息准确、边缘清晰的深度图。
-
公开(公告)号:CN108648215B
公开(公告)日:2022-04-15
申请号:CN201810651885.X
申请日:2018-06-22
Applicant: 南京邮电大学
Abstract: 本发明揭示了一种基于IMU的SLAM运动模糊位姿跟踪算法,包括如下步骤:S1、对输入的图像序列进行ORB特征提取,根据特征点数目判断图像序列种类,根据判断结果,择一进行S2或S3步骤;S2、若为正常图像,利用匀速运动模型估计相机初始位姿,执行运动参数的捆集调整;S3、若为运动模糊图像,利用IMU运动方程得到估计位姿,利用扩展卡尔曼滤波器得到优化位姿,将估计位姿与优化位姿进行合并,得到相机的最终位姿。本发明针对SLAM无法对图像序列中运动模糊段进行相机定位和跟踪丢失问题,结合并利用惯性测量单元运动学方程以及扩展卡尔曼滤波器计算并优化相机位姿,使得SLAM能获得连续可靠的相机位姿定位和跟踪。
-
-
-
-
-
-
-
-
-