一种三维人脸动画自动生成方法、装置、介质及产品

    公开(公告)号:CN119693512A

    公开(公告)日:2025-03-25

    申请号:CN202411871917.9

    申请日:2024-12-18

    Inventor: 宋文凤 叶忠勇

    Abstract: 本发明公开一种三维人脸动画自动生成方法、装置、介质及产品,涉及知识图谱、图像处理技术领域。该方法包括:获取待生成人脸动画图像的情感标签,并应用语言模型将情感标签转换为文本描述,应用提示适配器模块将情感标签转换为情感特征;根据待生成人脸动画图像的先验知识,应用面部编码器获取待生成人脸动画图像的面部特征;获取待生成人脸动画图像的面部几何数据,并将文本描述、情感特征、面部特征和面部几何数据进行融合,得到待生成人脸动画图像的面部数字化身;应用点云操作技术对面部数字化身进行调整,并对调整后的面部数字化身进行渲染,得到待生成人脸动画图像的最终数字化身。本发明能够得到具有丰富情感表达的数字化人类面部化身。

    一种人体动作风格迁移方法、系统及可存储介质

    公开(公告)号:CN117036550A

    公开(公告)日:2023-11-10

    申请号:CN202311019036.X

    申请日:2023-08-14

    Inventor: 宋文凤 金兴亮

    Abstract: 本发明公开了一种人体动作风格迁移方法、系统及可存储介质,应用于计算机动画及虚拟现实技术领域。包括:数据获取步骤、数据拆解步骤、数据整合步骤、数据解码步骤和对抗生成步骤。本发明通过将由内容动作的语义信息携带的内容特征与风格动作的风格进行融合以及通过构建动作编码解码网络,实现了迁移风格动作中的风格到内容动作中以及迁移后的风格具有细粒度的语义特征。

    一种基于对比学习的动画生成方法及系统

    公开(公告)号:CN116485962A

    公开(公告)日:2023-07-25

    申请号:CN202310502954.1

    申请日:2023-05-06

    Inventor: 宋文凤 张欣宇

    Abstract: 本发明公开了一种基于对比学习的动画生成方法及系统,涉及人体动画生成技术领域,包括:对比学习利用具有强特征语义的元动画,编码了跨模式语义、信息性几何特征和姿势中的运动原理;通过带有时空表征的VAE对潜在空间进行参数化,在没有监督的情况下生成连贯性动画的转换。本发明通过相邻帧的上下文相关线索将网状动画与连续的语义标签相匹配,通过强几何先验,指导语义和网格动画之间的对齐。通过一个语义指导的编码器提取特征,提高动画的类内紧凑性和类间可分离性。通过学习隐空间分布以同时表示动画中的空间和时间线索,在时空语义控制下产生具有高度灵活性的现实动画。

    一种三维场景动画自动生成方法、系统

    公开(公告)号:CN115170704A

    公开(公告)日:2022-10-11

    申请号:CN202210788594.1

    申请日:2022-07-06

    Inventor: 宋文凤 张欣宇

    Abstract: 本发明公开了一种三维场景动画自动生成方法、系统,应用于知识图谱、图像处理技术领域,包括:获取输入图像的上下文信息,分解编码为分层图结构,输入至由卷积神经网络构成的语义解析组件得到特征节点,构建DKG,输入至动作识别卷积网络和人‑物交互检测网络进行训练至收敛,分解为语义流和动画流,得到具有交互关系的语义对象的时间变化规律,将其与输入图像输入至包含联系约束的条件变分自编码网络进行编码和解码训练,生成变形和运动学的动画。本发明通过求取基于DKG的具有交互关系的语义对象的时间变化规律以及构建包含联系约束的条件变分自编码网络,实现了图像中交互关系的准确预测以及生成变形和动画的语义及物理合理。

    一种复杂动作序列的三维人体分类与生成方法、系统

    公开(公告)号:CN114972874A

    公开(公告)日:2022-08-30

    申请号:CN202210635201.3

    申请日:2022-06-07

    Abstract: 本发明公开了一种复杂动作序列的三维人体分类与生成方法、系统,应用于虚拟现实领域,包括:获取并对复杂动作视频进行预处理,构建数据集;对数据集进行关键点识别,得到人体关键点以及动作序列姿态信息,作为训练集;构建基于三维几何的复杂动作序列分类编码模型,并将其输入和输出合并为一个序列进行编码与解码训练,构建基于三维几何的复杂动作序列生成模型;将测试集输入模型,得到多种测试集动作类别的动作序列。本发明通过将标准三维几何序列编码为含有时间信息的几何参数,不仅增强了网络对不同动作类别在隐空间分布的学习,还实现了在复杂动作情况下,能够准确识别动作类型,生成合理的动作序列,提高了识别的准确率和动作的多样性。

    一种遮挡驱动的行人再识别方法、系统及可存储介质

    公开(公告)号:CN114022823A

    公开(公告)日:2022-02-08

    申请号:CN202111354994.3

    申请日:2021-11-16

    Abstract: 本发明公开了一种遮挡驱动的行人再识别方法、系统及可存储介质,涉及图像处理技术领域,包括:构建全景数据集并将其进行数据增强后得到训练集;将训练集输入遮挡分类模型中进行训练,直至模型收敛,得到训练完成的遮挡分类模型;基于遮挡程度的不同,将训练集输入重识别模型中对应不同遮挡程度的子模型中进行训练,直至各个子模型的识别准确率达到预设值,得到训练完成的重识别模型;通过训练完成的遮挡分类模型和重识别模型,判断待检测图片的遮挡程度并获得行人特征识别结果。本发明在不同遮挡场景及图片模糊、质量差的情况下,依然能准确识别行人的特征,提高了识别的准确率。

    基于代码知识图谱的回归测试质量评估方法和装置

    公开(公告)号:CN118069507B

    公开(公告)日:2025-01-10

    申请号:CN202410169589.1

    申请日:2024-02-06

    Abstract: 本申请公开了一种基于代码知识图谱的回归测试质量评估方法和装置,本方法和装置通过设计代码本体模型;基于所述代码本体模型,抽取被测软件的源代码中的代码实体、代码实体属性和代码实体关系,对所述源代码中的代码实体、代码实体属性和代码实体关系进行知识融合,得到所述源代码的多粒度多维度代码知识图谱,所述知识融合包括实体消歧和共指消解;基于所述代码知识图谱,通过子图搜索算法和相似度评估技术,计算回归测试中被测软件的程序代码的修改内容影响范围子图与回归测试覆盖度范围子图之间的相似度,通过预设权重对所述相似度进行归一化处理得到回归测试质量评估值。实现了高效的回归测试,对回归测试的质量实现了客观的评价。

    一种三维场景动画自动生成方法、系统

    公开(公告)号:CN115170704B

    公开(公告)日:2024-04-02

    申请号:CN202210788594.1

    申请日:2022-07-06

    Inventor: 宋文凤 张欣宇

    Abstract: 本发明公开了一种三维场景动画自动生成方法、系统,应用于知识图谱、图像处理技术领域,包括:获取输入图像的上下文信息,分解编码为分层图结构,输入至由卷积神经网络构成的语义解析组件得到特征节点,构建DKG,输入至动作识别卷积网络和人‑物交互检测网络进行训练至收敛,分解为语义流和动画流,得到具有交互关系的语义对象的时间变化规律,将其与输入图像输入至包含联系约束的条件变分自编码网络进行编码和解码训练,生成变形和运动学的动画。本发明通过求取基于DKG的具有交互关系的语义对象的时间变化规律以及构建包含联系约束的条件变分自编码网络,实现了图像中交互关系的准确预测以及生成变形和动画的语义及物理合理。

    一种语音驱动的多表情3D面部动画生成方法及系统

    公开(公告)号:CN119784902A

    公开(公告)日:2025-04-08

    申请号:CN202411081771.8

    申请日:2024-08-08

    Inventor: 宋文凤 王选 侯霞

    Abstract: 本发明公开了一种语音驱动的多表情3D面部动画生成方法及系统,涉及计算机动画及虚拟现实领域。获取输入的音频,将音频首先使用微调后的编码器进行编码,获得输入音频的特征;接下来使用全连接神经网络进行特征降维,以得到音频特征的潜在代码;将潜在音频代码和情绪代码以及扩散步数输进面部去噪模型中,生成潜在面部运动代码;将面部运动代码使用码本进行离散量化处理,获得码本中接近的潜在面部运动代码;将离散化后的潜在面部运动代码进行解码得到面部运动,将此面部运动与静止的面部模板相加,获得最终的完整面部运动序列。本发明生成高质量、与输入音频和情绪标签紧密同步的3D面部动画,为创建情感丰富的虚拟角色提供了新的有效手段。

    一种基于对比学习的动画生成方法及系统

    公开(公告)号:CN116485962B

    公开(公告)日:2025-04-08

    申请号:CN202310502954.1

    申请日:2023-05-06

    Inventor: 宋文凤 张欣宇

    Abstract: 本发明公开了一种基于对比学习的动画生成方法及系统,涉及人体动画生成技术领域,包括:对比学习利用具有强特征语义的元动画,编码了跨模式语义、信息性几何特征和姿势中的运动原理;通过带有时空表征的VAE对潜在空间进行参数化,在没有监督的情况下生成连贯性动画的转换。本发明通过相邻帧的上下文相关线索将网状动画与连续的语义标签相匹配,通过强几何先验,指导语义和网格动画之间的对齐。通过一个语义指导的编码器提取特征,提高动画的类内紧凑性和类间可分离性。通过学习隐空间分布以同时表示动画中的空间和时间线索,在时空语义控制下产生具有高度灵活性的现实动画。

Patent Agency Ranking