一种基于机器视觉和语音信号处理相结合的假唱检测方法

    公开(公告)号:CN105959723B

    公开(公告)日:2018-09-18

    申请号:CN201610326306.5

    申请日:2016-05-16

    Applicant: 浙江大学

    Inventor: 张家玄 任重

    Abstract: 本发明公开了一种基于机器视觉和语音信号处理相结合的假唱检测方法。分解为音频和视频,对音频信号分帧并提取特征参数,对视频信号每帧处理,提取特征参数,帧率与音频信号相同,将视频帧和音频帧进行对应组合并筛选,分为子特征参数序列,将每一子特征参数序列进行同步性分析,获得同步性帧移曲线,同步性分类判定,获得真唱或者假唱的结果。本发明实现了对演唱音视频的假唱检测和处理,检测效果精确,在每个片段上单独分析音视频的同步性,有效处理了输入唱歌视频的每个细节,可靠性高。

    基于ASM算法和Lazy Snapping算法的耳廓检测方法

    公开(公告)号:CN106650578A

    公开(公告)日:2017-05-10

    申请号:CN201610847141.6

    申请日:2016-09-26

    Applicant: 浙江大学

    Inventor: 任重 张家玄 吴盼

    CPC classification number: G06K9/00885 G06K9/4604 G06K9/6257 G06K9/6267

    Abstract: 本发明公开了一种基于ASM算法和Lazy Snapping算法相结合的耳廓检测方法,该方法利用Haar特征构建耳朵检测器,检测出耳朵所在的矩形区域,只有仅仅对该区域进行图像处理操作,大大加快了运行速度。本发明使用简单低精度的耳朵模型来训练ASM检测器,进而对耳廓上的少数关键特征点进行检测,训练成本较低,ASM算法的检测效果对训练数据集的敏感性较低,可以很容易地进行操作。本发明使用Lazy Snapping算法实现对耳廓地有效分割,并且使用坐标系变换和曲线拟合技术来提高耳廓检测结果的精确度。本发明所提出的耳廓检测技术运算速度快,可靠性高,容易实施,成本较低,可以有效地实现耳廓的检测。

    一种并行的可编程运动特效绘制方法

    公开(公告)号:CN102945560B

    公开(公告)日:2015-05-06

    申请号:CN201210297025.3

    申请日:2012-08-21

    Applicant: 浙江大学

    Abstract: 本发明公开了一种并行的可编程运动特效绘制方法,由于各帧画面的同一像素能够在很大程度上共用绘制所需的数据,这就提高了能够同时处理的像素数量,进而提高绘制效率;本发明将计算切分成预计算和运行时计算部分,并将于运动特效编程无关的光栅化和线段组装运算放到预计算部分进行,并将预计算结果输出到外部文件,这样,进行一次预计算的结果可以用于不同运动特效的绘制,这也降低了调整运动特效编程时所需的得到最终绘制结果的计算量,提高了用户编辑运动特效时的绘制效率。

    基于表面网格的快速毛发建模方法

    公开(公告)号:CN102339475A

    公开(公告)日:2012-02-01

    申请号:CN201110327886.7

    申请日:2011-10-26

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于表面网格的快速毛发建模方法,该方法通过将目标毛发形态由简单的表面形状网格控制,从而实现简化毛发的建模过程,并得到同样高质量建模结果的目标。本发明仅需要用户使用普通的网格建模方法创建大致表示毛发形状的粗糙表面网格,然后通过完全自动的轨迹线提取方法得到形状网格对应的稀疏毛发轨迹线,基于这些轨迹线与用户指定的毛发依附网格即可生成完全符合形状网格的毛发建模结果。在上述建模结果的基础上,通过用户易控的风格化方法可进一步得到保持建模形状下的风格化效果。本说明书中所指的毛发建模均为将目标毛发对象建模为大量极细发丝几何体的集合的过程。

    一种基于三维高斯的稀疏视角人脸重建方法及装置

    公开(公告)号:CN119006709A

    公开(公告)日:2024-11-22

    申请号:CN202411056556.2

    申请日:2024-08-02

    Applicant: 浙江大学

    Inventor: 李沛瑶 任重 周昆

    Abstract: 本发明提出了一种基于三维高斯的稀疏视角人脸重建方法及装置,该方法是基于神经网络的三维高斯初始化点云生成,使用计算机视觉技术对真实拍摄的图片进行智能识别,得到准确的人脸重建结果;再进行10个视角下稀疏数据的人脸高斯初步重建,初步优化使得三维高斯在优化中贴合人脸几何的表面,几何优化给之后的人脸材质重建提供良好的几何基础;引入稳定扩散模型,给予真实的拍摄数据更高的优化权重进一步优化,最后基于前述建模结果再基于PBR模型的人脸外观重建。本发明实现了在输入图像信息不足的情况下,利用有效的初始化输入限制,以及稳定扩散模型,弥补了信息不足的缺点,改善了稀疏三维高斯重建(RelightableGaussian)容易失败和陷入局部最优值。

    一种基于稀疏表情优化人脸关节驱动模型的方法

    公开(公告)号:CN118691719A

    公开(公告)日:2024-09-24

    申请号:CN202410435219.8

    申请日:2024-04-11

    Abstract: 本发明公开了一种基于稀疏表情优化人脸关节驱动模型的方法。本发明给出了一种通用的人脸关节驱动模型,并通过优化中性表情下初始关节变换、拟合各目标表情手调面板控制器参数、优化原始表情控制参数和复合表情控制参数到关节变换映射矩阵、优化人脸混合形状,使得对应角色优化过后的人脸关节驱动更加自然。同时,本发明通过设计能量函数和约束条件,并且创新性地设计了优化所需的表情,并通过预置mask的方法将卧蚕、褶皱等人脸细节优化入对应的人脸混合形状。本发明能够高效地解决对应角色人脸关节驱动优化问题,使得美术人员在调整控制器时获得更加真实更加自然的表情,运用在虚拟数字人动画等场景中,应用空间巨大,具有较高的普适性。

    一种基于双目视频的面部表情高保真捕捉方法

    公开(公告)号:CN118447556A

    公开(公告)日:2024-08-06

    申请号:CN202410609289.0

    申请日:2024-05-16

    Applicant: 浙江大学

    Inventor: 刘佳航 任重 周昆

    Abstract: 本发明公开了一种基于双目视频的面部表情高保真捕捉方法,该方法主要用于生成与视频中人物面部表情相对应的三维可变形人脸模型系数,这些系数通过传统渲染管线渲染出与原视频等效的高保真视频,从而实现人脸表情的精准再现和表达。本技术通过给定中性表情的模型和外观贴图,以及一段双目视频,创新性地结合人脸特征点检测、双目匹配和可微渲染技术,通过梯度下降的方法通过优化三维可变形人脸模型系数,进而优化了面部表情的几何表示,实现了对视频中人脸的高质量面部捕捉。实验证明,该发明的方法不仅能够实现高精度的面部动作捕捉,还能通过优化后的三维可变形人脸模型系数在多种渲染场景下产生高保真的视频输出。

    一种基于深度学习和多目立体视觉的人脸重建方法

    公开(公告)号:CN118279485A

    公开(公告)日:2024-07-02

    申请号:CN202410367475.8

    申请日:2024-03-28

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于深度学习和多目立体视觉的人脸重建方法,该方法将传统的多目视角重建方法分解为在低分辨率下运行的基于深度学习的重建以及基于低分辨率结果和高分辨率图像的增强两个步骤,可以较短时间内重建出高精度、高分辨率、语义对齐的人脸几何以及人脸材质。本发明的几何重建和材质重建基于深度学习,从低分辨率多视角图像获得快速的重建结果;几何细化则基于传统多目视觉重建改进,在快速重建的基础上进一步利用高分辨率图像获得高精度、高分辨率结果;材质增强则进一步提升材质重建的精度和分辨率。本发明能够在数十秒内重建亚毫米级人脸几何以及2K分辨率的高质量人脸材质。

    一种基于路径跟踪的声波直边衍射计算方法

    公开(公告)号:CN117076827A

    公开(公告)日:2023-11-17

    申请号:CN202211559278.3

    申请日:2022-12-06

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于路径跟踪的声波直边衍射的计算方法。该方法将凸直边衍射表示为几何体直边上径向函数的积分,并使用路径跟踪方法计算该积分,从而实现了路径跟踪框架下的高效直边衍射计算。此外,本发明针对上述衍射计算方法提出了一系列配套的优化技术,以提高计算结果的质量,减少计算结果的资源消耗。实验结果表明,本发明的方法在简单场景下的结果与凸直边衍射的精确解相符,在大型复杂场景下,该方法可以接近实时的速度向用户提供衍射模拟结果。

Patent Agency Ranking