-
公开(公告)号:CN114241553A
公开(公告)日:2022-03-25
申请号:CN202111477680.2
申请日:2021-12-06
Applicant: 浙江大学
Abstract: 本发明公布了一种将人脸表情迁移到虚拟角色面部的方法,该方法要求用户提供少数人类表情与虚拟角色表情匹配的网格对,与自动生成的大量具有随机表情的网格一同作为神经网络的训练数据,由神经网络学习得到使任意人类网格与虚拟角色网格面部表情匹配的映射;本发明显著减少了表情迁移工作流程的工作量,用户需要创建的表情匹配的网格对的数量不再有数十对之多,本发明的方法在神经网络训练完成后,可以实时地将任意人脸网格的表情迁移到虚拟角色的网格上,迁移得到的结果能够保证在感官上与人脸表情一致。
-
公开(公告)号:CN114240991A
公开(公告)日:2022-03-25
申请号:CN202111547350.6
申请日:2021-12-16
Applicant: 浙江大学
Abstract: 本发明公开一种RGB图像的实例分割方法,该方法检测一张图像中的所有物体并预测它的掩码。该方法以现有的物体检测框架为基础,并在其基础上进行扩充,对于一张输入的RGB图像,本发明的方法通过神经网络为其预测两种嵌入特征,第一种特征是针对每个检测到的物体的,名为物体嵌入特征,另一种特征是针对图像中的像素的,名为像素嵌入特征。通过比较像素特征与物体特征的相似度,本发明就可以判断出该像素是否属于该物体的掩码。本发明的方法预测速度快、检测精度高、掩码质量好、流程简单。
-
公开(公告)号:CN114202019A
公开(公告)日:2022-03-18
申请号:CN202111458947.3
申请日:2021-12-02
Applicant: 浙江大学
IPC: G06K9/62 , G06N3/04 , G06N3/08 , G06V10/82 , G06V10/774 , G06V10/764 , G06V10/762
Abstract: 本发明公开一种完全无监督的图像生成方法,该方法通过构建包括生成器G、判别器D、编码器Q以及高斯混合模型GMM的MICGANs网络,并对其进行训练后,进行图像生成。本发明的方法无需知道具体的分类情况或者是类别的数量,而预测出较为正确的聚类结果,从而帮助解决模式坍塌问题提高生成质量。在训练完成之后,MICGANs还可以根据得到的类别进行有条件的生成。
-
公开(公告)号:CN113379890A
公开(公告)日:2021-09-10
申请号:CN202110436097.0
申请日:2021-04-22
Applicant: 浙江大学 , 杭州相芯科技有限公司
IPC: G06T17/00
Abstract: 本发明公开了一种基于单张照片的人物浅浮雕模型生成方法。该方法基于输入照片构建3D人体骨架,并通过3D骨架层来解析复杂的人体自遮挡和相互遮挡关系,构建3D人体引导模型。本发明还提出了一种基于轮廓匹配的形变算法,使得生成的低频基础形状模型与图像空间准确对齐,并在此基础上将低频基础形状模型与图像中的高频细节特征进行融合,从而得到浅浮雕模型。本发明的交互方式简单、直接、高效,可以使普通用户快速地从自己拍摄的照片或网络照片中构建出人体浅浮雕模型。本发明适用于各种不同的单人或多人照片,具有较高普适性和稳定性。理论分析和实验结果表明,本发明生成的浅浮雕模型3D视觉感知逼真,极具实用性和应用前景。
-
公开(公告)号:CN112989566A
公开(公告)日:2021-06-18
申请号:CN202110162275.5
申请日:2021-02-05
Applicant: 浙江大学
Abstract: 本发明公开了一套自适应的基于几何声学的声音传播仿真方法,该方法能够基于A‑加权方差指标动态调节所需的采样数,以减少冗余的运算量,提升运算效率,提高生成的声音传播仿真效果质量。该方法主要包括如下步骤:1)输入:获取需要进行传播的原始音频和虚拟场景;2)采样数估算:使用测试射线计算单个采样的A‑加权方差,并估算实际需要的采样数量;3)传播:使用上述估算的采样数进行虚拟场景的冲激响应计算;4)输出:得到人耳可听或可用于后续分析的,传播后的音频结果。本发明可以和普遍使用的各类几何声学声音传播仿真框架结合,运用在虚拟现实、建筑声学等领域中,适用于各种不同的声音传播场景、原始音频、采样方式,具有较高普适性和稳定性。
-
公开(公告)号:CN107146251B
公开(公告)日:2020-08-18
申请号:CN201710193356.5
申请日:2017-03-28
Applicant: 浙江大学
IPC: G06T7/68
Abstract: 本发明公开了一种三维人脸模型的对称性分析方法,该方法通过对输入人脸模型进行采样,并对采样结果进行配对进而得到对称特征;再对所得对称特征进行提取和聚类,进而得出模型所存在的对称性关系。本发明通过在特征提取时添加PCA约束,在计算资源有限的情况下有效地提升了初始采样点的最大数量;通过改进对称特征的提取方法,提升了聚类结果的有效性;通过在特征‑网格重匹配时添加松弛因子,在保证结果稳定性的同时将匹配延伸到了整个模型。在Kinect采集并使用KinectFusion重建的人脸模型上,进行了测试并验证了方法的有效性。
-
公开(公告)号:CN106023288B
公开(公告)日:2019-11-15
申请号:CN201610331428.3
申请日:2016-05-18
Applicant: 浙江大学 , 联想(北京)有限公司
IPC: G06T13/40
Abstract: 本发明公开了一种基于图像的动态替身构造方法,该方法首先进行数据采集和预处理:使用普通的网络摄像头,采集用户的一系列设定动作表情的人脸图像,并对这些图像进行分割、特征点标定等预处理工作;然后基于处理后的图像,生成用户的人脸融合模型和头发形变模型,继而得到用户基于图像的替身表达;在实时人脸动画驱动过程中,根据跟踪得到的人脸动作表情参数,驱动替身表达生成对应的人脸和头发几何;最后基于得到的人脸和头发几何,映射采集图像,并将映射后的图像根据图像置信度进行融合,生成真实的人脸动画图像。利用本发明生成得到的人脸动画结果,具有高真实感、表现力强、细节丰富、还原度高等特点。
-
公开(公告)号:CN105893719B
公开(公告)日:2018-10-12
申请号:CN201610436309.4
申请日:2016-06-16
Applicant: 浙江大学
Abstract: 本发明公开了基于双向路径跟踪的实时声音传播模拟方法,该方法首先输入当前帧的声学环境状态,以各声源为起点随机生成正向子路径,以听者为起点生成反向子路径,在正向与反向子路径节点间随机建立连接,生成完整路径;并计算出每一路径的强度,生成概率和多重重要性采样权重,最后得到并输出能量响应曲线。本发明以双向路径跟踪的路径生成能力为基础,结合基于信噪比的质量标准,通过控制不同反射次数路径的数量对声能曲线各时间段质量做出调整,从而可以平衡各时段反射声的质量。本发明由于使用了双向路径跟踪,可以在相同的计算代价下产生数量更多,质量更高的路径,且路径质量较少受声源与听者位置的影响。
-
公开(公告)号:CN103942822B
公开(公告)日:2017-02-01
申请号:CN201410146194.6
申请日:2014-04-11
Applicant: 浙江大学
Abstract: 本发明公开了一种基于单视频摄像机的面部特征点跟踪和人脸动画方法,包括以下步骤:基于已公布的人脸图像数据库,创建回归器训练集,以此作为输入训练得到一个DDE模型回归器;利用该回归器,对于输入的图像回归计算得到相应的形状矢量,并依此计算图像中面部特征点的二维位置;对形状矢量进行后处理,使得其中表情系数满足一定约束;结合特征点二维位置和后处理的形状矢量更新全局参数;将得到的三维动态表情参数映射到虚拟替身上,驱动动画角色进行人脸动画。本发明面向通用用户,不需要对特定用户进行任何预处理工作,新用户可以直接使用系统;本发明可以更好的处理快速运动、大幅度平移和旋转,可以更好的应对剧烈的光照变化。
-
公开(公告)号:CN105844706A
公开(公告)日:2016-08-10
申请号:CN201610244614.3
申请日:2016-04-19
Applicant: 浙江大学
IPC: G06T17/00
CPC classification number: G06T17/00
Abstract: 本发明公开了一种基于单幅人像图像的全自动三维头发建模方法,该方法主要分为四个步骤:头发图像训练数据的生成,基于分层深度神经网络的头发分割和生长方向估计,三维头发样本的生成和组织,以及数据驱动的三维头发建模;本发明可以全自动地鲁棒地生成完整的高质量的三维模型,质量达到当前最先进的基于用户交互的技术的水平。本发明技术可以用在一系列应用中,如人像发型编辑,发型风格空间的浏览,以及搜索相似发型的互联网图像。
-
-
-
-
-
-
-
-
-