-
公开(公告)号：CN114241113B
公开(公告)日：2024-12-20
申请号：CN202111421781.8
申请日：2021-11-26
Applicant: 浙江大学
IPC: G06T15/08 , G06N3/0464 , G06N3/047
Abstract: 本发明公开了一种基于深度引导采样的高效神经辐射场渲染方法，首先获取目标视图，并获取目标视图的图像特征；在目标视图前，采样若干深度平面，利用提取到的图片特征在每个深度平面上构建以方差为代价的代价体；利用基于3D卷积的神经网络处理代价体获取概率体，并得到每一个像素上的深度；对每个像素点，在深度可能所处的区间采样少量点，同时利用神经网络计算神经辐射场；利用体渲染公式计算每个像素点的颜色，得到最终渲染出来的图片。本发明能够支持高速的基于神经辐射场的渲染。高速的基于神经辐射场的渲染能够支持大场景和动态场景下新视角合成的相关应用，包括自由视点视频直播等应用。
-
公开(公告)号：CN116958348A
公开(公告)日：2023-10-27
申请号：CN202310745636.8
申请日：2023-06-21
Applicant: 支付宝(杭州)信息技术有限公司 , 浙江大学
IPC: G06T13/40 , G06T7/70 , G06N3/0455 , G06N3/047 , G06N3/0475
Abstract: 本说明书实施例涉及一种数字人和物体的交互动作生成方法及装置，所述方法包括：获取目标条件数据，其中包括数字人初始状态的位姿信息、目标物体数据，以及数字人和目标物体进行交互的目标状态的位姿信息；利用第一扩散模型确定N个里程碑数据，所述里程碑为所述数字人从初始位置移动到目标位置的轨迹上的点；利用第二扩散模型确定数字人在任一里程碑上的姿态；利用第三扩散模型确定数字人在相邻里程碑之间的轨迹上的若干个轨迹点数据；利用第四扩散模型确定数字人在任一轨迹点上的姿态。然后根据多个轨迹点数据和数字人在任一轨迹点上的姿态，确定出数字人从初始位置移动到目标位置的动作序列。
-
公开(公告)号：CN116778092A
公开(公告)日：2023-09-19
申请号：CN202310804406.4
申请日：2023-07-03
Applicant: 浙江大学
Abstract: 本发明公开了一种高写实虚拟试衣方法及装置。输入围绕人体使用手机拍摄的一段视频或一系列RGB图像后，利用神经渲染的方式得到高质量的带语义三维人体模型。在带语义三维人体模型上结合人体参数化模型得到高精度的未穿衣人体模型，导入布料仿真软件实现实时高写实虚拟试衣效果。本发明方法基于一部智能手机拍摄视频或者一系列RGB图像即可实现高写实的虚拟试衣效果，与传统的方法相比引入了准确的三维人体信息，大大提高了虚拟试衣效果的真实度。
-
公开(公告)号：CN116645724A
公开(公告)日：2023-08-25
申请号：CN202310542542.0
申请日：2023-05-15
Applicant: 浙江大学
Abstract: 本发明公开了一种基于视频的全身动作捕捉方法及装置。本发明的实现包括：检测多视角的图像中身体和双手；基于深度学习的方法得到身体和双手的运动姿态；利用几何一致性进行视角选择，为每一个3D的部位分配多个不同视角下的检测结果；利用三维空间信息和二维图像信息实现多视角下人体和双手的匹配；利用多视角信息和人体与双手的匹配关系进一步优化全身姿态参数，得到图像中所有人的全身运动姿态。本发明通过提出一种新的基于视频的运动捕捉方法，可以同时估计图像中人物全身运动姿态。
-
公开(公告)号：CN111798486B
公开(公告)日：2022-05-17
申请号：CN202010546274.6
申请日：2020-06-16
Applicant: 浙江大学
Abstract: 本发明公开了一种基于人体运动预测的多视角人体运动捕捉方法，该方法对多张相机不同视角同步拍摄的图片进行三维人体重建，得到每个人体的三维骨架；对于后续帧，根据之前帧重建好的三维骨架，对当前帧的人体三维关键点位置给出预测结果和置信度；对于关键帧的图片运行人体检测器，检测出每个人体的二维包围盒；对于非关键帧的图片，将前一帧运动预测的三维骨架投影到当前帧各个视角的图像中，快速得到当前帧各个视角下人体的二维包围盒，进而减小人体检测器的开销，提高算法效率；本发明同时利用时序信息计算出人体关键点可见性，基于可见性提高人体三维骨架重建的准确性。
-
Patent Agency Ranking
公开(公告)号：CN111080666A
公开(公告)日：2020-04-28
申请号：CN201911374778.8
申请日：2019-12-27
Applicant: 浙江大学
Abstract: 本发明公开了一种物体分割方法及装置，通过预测图像中物体的轮廓线来进行物体的分割。为了预测物体的轮廓线，本发明提供了一种基于循环卷积的特征学习方法和一种曲线变形方法。本发明的实现包括：基于初始化闭合曲线，为曲线的每个节点构造特征向量；对定义在闭合曲线上的特征向量序列，使用循环卷积进行特征学习；基于循环卷积，提出一个深度神经网络进行曲线的变形；基于曲线变形方法实现物体分割；处理包含多个连通区域的目标物体。本发明通过循环卷积，实现了在曲线上高效的特征学习，提高了基于轮廓线进行物体分割的方法的准确率。
-
公开(公告)号：CN118096972A
公开(公告)日：2024-05-28
申请号：CN202410242767.9
申请日：2024-03-04
Applicant: 浙江大学
Abstract: 发明公开了一种基于多层级高斯溅射的实时渲染方法及装置，通过优化多层级高斯来合成大场景的新视角图像，实现百万平方米级别大场景的实时渲染。本发明的实现包括：给定大场景图像以及相机位姿，通过树状表存储多层级高斯，使用渐进式策略进行优化，以此表示三维大场景；多层级高斯是一种树状的高斯存取方式，每个高斯存储一组场景参数；基于多层级高斯，构造三维大场景的高效表示。对于三维大场景中任意分辨率的任意视角，从多层级高斯中选择对应可见区域的高斯，根据其可见半径选择合适层级的高斯，用于渲染对应区域的图像。本发明通过多层级高斯，实现了三维大场景的高效建模，提高了三维大场景的渲染速度。
-
公开(公告)号：CN113112592B
公开(公告)日：2023-02-14
申请号：CN202110419747.0
申请日：2021-04-19
Applicant: 浙江大学
Abstract: 本发明公开了一种可驱动的隐式三维人体表示方法，通过从输入的多视角视频中优化可驱动模型的三维表示进行动态重建。本发明提供的方法包括：构造用于表示动态人体的隐函数；提出用神经网络表示的神经蒙皮混合权重场，实现了在从视频中学习得到可驱动隐函数，从视频中优化得到可驱动三维模型的方法；本发明在每一视频帧学习一个神经蒙皮混合权重场，将每一视频帧的三维点变换回标准坐标系，以此整合了视频的时序信息，增加了对目标的观测，用于优化标准坐标系下的三维模型；本发明同时在标准坐标系下学习一个神经蒙皮混合权重场，使得三维模型可被驱动生成新姿势下的三维模型。
-
公开(公告)号：CN111797714B
公开(公告)日：2022-04-26
申请号：CN202010546913.9
申请日：2020-06-16
Applicant: 浙江大学
IPC: G06V40/10 , G06K9/62 , G06V10/762
Abstract: 本发明公开了一种基于关键点聚类的多视点人体运动捕捉方法。本发明的实现包括：检测多视点图像中的人体关键点；基于图像信息及几何关系建立人体关键点的关系图；基于关键点的关系图及聚类算法，对各个视点下的人体关键点进行关联，找到属于同一个人的关键点；基于关键点的关联结果，还原各个人体关键点的三维位置。本发明通过高效鲁棒的关键点聚类方法，建立不同视点图像中的人体关键点的关联，提高了多视点人体运动捕捉方法的效率与准确率。
-
公开(公告)号：CN114241113A
公开(公告)日：2022-03-25
申请号：CN202111421781.8
申请日：2021-11-26
Applicant: 浙江大学
Abstract: 本发明公开了一种基于深度引导采样的高效神经辐射场渲染方法，首先获取目标视图，并获取目标视图的图像特征；在目标视图前，采样若干深度平面，利用提取到的图片特征在每个深度平面上构建以方差为代价的代价体；利用基于3D卷积的神经网络处理代价体获取概率体，并得到每一个像素上的深度；对每个像素点，在深度可能所处的区间采样少量点，同时利用神经网络计算神经辐射场；利用体渲染公式计算每个像素点的颜色，得到最终渲染出来的图片。本发明能够支持高速的基于神经辐射场的渲染。高速的基于神经辐射场的渲染能够支持大场景和动态场景下新视角合成的相关应用，包括自由视点视频直播等应用。
-
-
-
-
-
-
-
-
-
Search Results
28
records
(took 0.019 seconds)
