一种多视图人脸表面重建的方法、系统、设备及介质

    公开(公告)号:CN116188727A

    公开(公告)日:2023-05-30

    申请号:CN202310237650.7

    申请日:2023-03-14

    Applicant: 南京大学

    Inventor: 于耀 涂馨元 周余

    Abstract: 本发明公开一种多视图人脸表面重建的方法、系统、设备及介质,涉及计算机视觉与三维重建领域;通过对获取的t时刻的多张人脸图像进行分割缩放处理,得到t时刻的主视角缩放图像以及多张目标缩放图像;采用可形变卷积,主视角缩放图像与各目标缩放图像分别进行匹配后计算对应的余弦夹角,并进行设定区间的选择,最终得到优化偏移量;进而再根据t时刻的相机外参确定的三维坐标,得到t时刻的多个匹配坐标;最终确定t时刻的人脸点云后,构建t时刻的人脸三维表面;本发明通过多视角的图像匹配后进行三维重建,以真实还原信息。

    基于深度学习的人脸三维重建方法、计算机设备与介质

    公开(公告)号:CN116109778A

    公开(公告)日:2023-05-12

    申请号:CN202310191074.7

    申请日:2023-03-02

    Applicant: 南京大学

    Inventor: 周余 黄琛 于耀

    Abstract: 本发明公开一种基于深度学习的人脸三维重建方法、计算机设备与介质,涉及人脸三维重建技术领域,该方法包括通过训练好的粗匹配网络模型对目标人脸的多张不同视角图像进行预测,得到每一视角图像到目标视角图像的预测光流,并根据真实相机参数生成粗糙人脸,粗糙人脸分割成若干个图像块,并通过虚拟相机参数生成每一图像块对应的初始深度图,然后通过训练好的曲面重建网络得到每一图像块的曲面预测编码,再通过训练好的曲面解码器解码,得到每一图像块对应的初始深度图上每一像素点的重建深度值,根据上述所有重建深度值得到重建人脸。本发明通过深度学习模型对每一图像块分别进行深度重建,能够以较小的网络参数量实现高精度的人脸重建。

    一种人体背部棘突线检测方法和系统

    公开(公告)号:CN114723720A

    公开(公告)日:2022-07-08

    申请号:CN202210401312.8

    申请日:2022-04-18

    Applicant: 南京大学

    Inventor: 于耀 莫锦晨 周余

    Abstract: 本发明涉及一种人体背部棘突线检测方法和系统,属于图像处理技术领域。本发明提供的人体背部棘突线检测方法,在获取得到彩色图像和深度图像之后,基于获取的彩色图像对深度图像进行优化,得到优化后的深度图像,然后,根据彩色图像和优化后的深度图像就可以精确的得到人体背部棘突线检测结果。

    一种基于自编码器的点云重建方法及系统

    公开(公告)号:CN114663600A

    公开(公告)日:2022-06-24

    申请号:CN202210400962.0

    申请日:2022-04-18

    Applicant: 南京大学

    Inventor: 于耀 曾庆吉 周余

    Abstract: 本发明涉及一种基于自编码器的点云重建方法及系统。该方法包括获取激光雷达系统的当前的数据;对所述当前的数据进行空间划分,确定多个数据块;根据数据块,采用训练好的自编码器网络确定局部距离函数场;根据局部距离函数场,利用等值面提取算法确定局部场景表面;对局部场景表面进行拼接确定场景表面。本发明能够增量式地由激光雷达采集得到的连续若干帧点云重建高质量的完整场景,同时场景存储开销较小,重建速度较快,能够应对大部分室外场景的重建工作。

    一种基于多视图的人体表面重建方法及系统

    公开(公告)号:CN114663599A

    公开(公告)日:2022-06-24

    申请号:CN202210398618.2

    申请日:2022-04-15

    Applicant: 南京大学

    Inventor: 于耀 吴冶 周余

    Abstract: 本发明涉及一种基于多视图的人体表面重建方法及系统。该方法包括获取多视角的室内RGB图片,并利用训练好的人体UV估计网络得到每个视角的UV坐标图;根据每个视角的UV坐标图计算相邻两个视角的光流;并根据光流以及相机外参矩阵得到初始深度图;根据多视角的室内RGB图片以及初始深度图,利用训练好的多视角深度估计神经网络确定每个视角的深度图;根据每个视角的深度图提取人体点云,并基于marching‑cubes算法将提取的人体点云融合为人体三维表面;根据人体三维表面进行任意视角下的渲染可视化。本发明实现一种端到端的三维人体表面重建系统,让用户快速、准确获取人体重建结果。

    一种在线时空语义融合方法和系统

    公开(公告)号:CN111462324B

    公开(公告)日:2022-05-17

    申请号:CN202010418823.1

    申请日:2020-05-18

    Applicant: 南京大学

    Abstract: 本发明涉及一种在线时空语义融合方法和系统。该方法包括:获取待语义融合对象的初始数据和2D语义分割网络;以初始数据为输入,采用2D语义分割网络确定单帧点云数据中每一数据点的信息;以体素为基本单位,将单帧点云数据变换到三维世界坐标系中,并使用字典数据结构建立三维体素网格地图;根据三维体素网格地图中的体素生成体素数据集;获取在线时空语义融合网络;以体素数据集中体素的图像特征向量为输入,采用在线时空语义融合网络确定待语义融合对象的三维语义融合地图。本发明提供的方法和系统,创新性的使用基于注意力机制的网络化方法,以解决现有技术只能追溯有限帧数据,无法充分利用历史信息的问题,具有效率高、语义融合完全的特点。

    基于视线更新算法的大规模场景实时三维重建方法和系统

    公开(公告)号:CN107862733B

    公开(公告)日:2021-10-26

    申请号:CN201711087652.3

    申请日:2017-11-02

    Applicant: 南京大学

    Inventor: 周余 章坚 于耀

    Abstract: 本发明公开一种基于视线更新算法的大规模场景实时三维重建方法和系统,属于计算机视觉和机器人领域。本发明解决的问题是:针对一般算法无法实现激光雷达的大规模点云数据的实时重建问题,提出一种根据当前三维点云生成视线,实现数据更新,从而实时重建的方法。主要包括三维点云获取以及传感器外参数据计算,基于视线算法计算隐式表面的符号距离值,符号距离值加权融合,对体数据进行体绘制并保存,实时显示重建效果。本发明通过引入视线更新算法,实时地更新隐式表面,从而实现基于雷达等深度传感器的大规模场景实时重建,不仅在速度上具有较大优势,在重建质量上也取得了较好的效果。

    一种基于光照先验的单张图像人脸三维重建方法

    公开(公告)号:CN111445582A

    公开(公告)日:2020-07-24

    申请号:CN201910042316.X

    申请日:2019-01-16

    Applicant: 南京大学

    Inventor: 于耀 邱炜彬 刘鹏

    Abstract: 本发明公开一种基于光照先验的单张图像人脸三维重建方法,属于计算机视觉领域。本发明解决的问题是:针对目前三维人脸重建技术缺失几何细节,且需要有较为严格的拍摄条件的情况,提出了一种基于光照先验的单张图像人脸三维重建方法。本发明的核心部分在于充分利用参数化人脸模型和环境光照等先验信息,首先以图像的人脸关键点驱动参数化三维人脸模型变形,得到粗略的三维人脸模型,再结合本征图像性质对人脸光照和纹理进行估计,最后利用图像光影优化人脸模型的几何细节,从而得到具有几何细节的三维人脸模型。本发明的算法输入为无约束的单张人脸图片,最终的输出结果为三维人脸模型。本发明的算法结果可运用于三维人脸建模,动画表情迁移和人脸图像重光照渲染等应用课题。

    一种激光雷达和相机间的外参标定系统和方法

    公开(公告)号:CN108399643A

    公开(公告)日:2018-08-14

    申请号:CN201810232731.7

    申请日:2018-03-15

    Applicant: 南京大学

    Inventor: 周余 李培 于耀

    Abstract: 本发明提供一种激光雷达和工业相机之间外参标定的方法,属于计算机视觉和机器人领域。本发明解决的问题是:激光雷达和工业相机协同工作时,需要统一坐标系,需要估计激光雷达和工业相机之间的外参。主要包括通过相机棋盘格获取相机姿态,通过雷达数据获取激光雷达的姿态,根据激光雷达和相机之间的外参关系,估计激光雷达和工业相机之间的外参,进一步,结合多帧数据,优化激光雷达和工业相机之间的外参。本专利能够很好的估计激光雷达和相机之间外参。

    一种协作通信系统中的满分集的频率翻转传输方案

    公开(公告)号:CN105337703A

    公开(公告)日:2016-02-17

    申请号:CN201510701476.2

    申请日:2015-10-21

    Applicant: 南京大学

    CPC classification number: H04L1/0606 H04L27/266

    Abstract: 本发明是一种针对存在载波频率偏移的协作通信系统的传输方案,属于无线通信领域。本发明解决的问题是:针对协作通信系统中存在的载波频率偏移,使得信号传输的可靠性急剧下降的问题,提出了一种频率翻转的编码方案和一种低复杂度的迫零译码方法。本发明的主要算法的核心部分在于编码码字的频率翻转,使得协作通信系统的中继节点与目的节点之间的等效信道矩阵是一个复正交矩阵,目的节点对接收到的信号进行简单的处理就可以正确地还原发射信号。通过与目前已有的一些方法相比较,本发明提出的方法使得协作通信系统的可靠性更高,并且译码复杂度更低。

Patent Agency Ranking