-
公开(公告)号：CN117077691A
公开(公告)日：2023-11-17
申请号：CN202310883256.0
申请日：2023-07-18
Applicant: 之江实验室
IPC: G06F40/58 , G06F40/166 , G06F40/284 , G06N3/0455 , G06N3/084 , G09B21/00
Abstract: 本发明公开了一种基于规则生成数据增强的手语词目序列翻译方法及系统，包括以下步骤：基于语义相似度建立中文词到手语词目的映射关系；基于映射关系通过替换方式将中文文本序列翻译成伪手语词目序列，基于噪声规则将伪手语词目序列增强以生成伪平行语料对；利用伪平行语料对预训练机器翻译模型得到预训练模型；利用真实双语语料对预训练模型进行微调得到最终翻译模型；利用最终翻译模型进行手语词目序列的翻译。系统包括：映射关系建立模块、数据增强模块、预训练模块、微调模块以及翻译模块。上述方法及系统针对中文文本生成手语词目序列的任务，旨在尽可能提高手语词目翻译水平，为听障人士提供便利。
-
公开(公告)号：CN116844212A
公开(公告)日：2023-10-03
申请号：CN202310851164.4
申请日：2023-07-11
Applicant: 之江实验室
IPC: G06V40/16
Abstract: 本说明书公开了一种动态人脸图像对齐方法、装置、设备及可读存储介质，根据第一人脸图像对各尺度的初始网格模板进行优化，得到优化后的中间网格模板，根据中间网络模板和第一人脸图像生成第一渲染图，以第二人脸图像的点云对应的深度图和中间网格模板的深度图之间的差异的最小化、第二人脸图像的点云对应的法向图和所述中间网格模板的法向图之间的差异的最小化，以及第一渲染图和第二人脸图像之间的差异的最小化为优化目标，优化中间网格模板，得到目标网格模板，从而基于目标网格模板得到第二渲染图。可见，上述方案不仅可以实现人脸的几何对齐和纹理对齐，还能够对不同的人脸表型实现正确的形变对齐，提高了动态人脸图像对齐的准确性。
-
公开(公告)号：CN116208844A
公开(公告)日：2023-06-02
申请号：CN202310212242.6
申请日：2023-03-01
Applicant: 之江实验室
IPC: H04N23/611 , H04N23/74 , H04N23/56 , H04N23/69 , H04N25/44
Abstract: 一种基于时序变化光场的轻量级动态人脸采集装置，其特征在于：包括相机阵列和时序可控的光场阵列，光场阵列为相机阵列提供照明；相机阵列与光场围绕正面人脸分布，俯视呈现的形状近似半圆，在垂直方向为多层分布。相机阵列、LED光源与控制模块连接，可以同步控制相机拍摄与光源开关，在人脸动态采集过程中，形成时序变化的光场。本发明还提供一种基于时序变化光场的轻量级动态人脸采集装置的采集方法。本发明通过多层LED光场阵列，设计了一套对皮肤漫反射分量均匀，对高光分量有差异的光照模式，实现对动态场景友好的时序变化光场，确保几何和人脸物理材质动态提取的效果。本装置以相对低的硬件成本做到高质量人脸几何和材质的重建。
-
Patent Agency Ranking
公开(公告)号：CN115984434A
公开(公告)日：2023-04-18
申请号：CN202310004861.6
申请日：2023-01-03
Applicant: 之江实验室
Abstract: 本申请提供一种情感表达的人脸动画生成方法、装置和可读存储介质。其中，本申请的情感表达的人脸动画生成方法，获取用户输入的语音；将语音输入至训练好的表情动画生成模型，以输出预测的三维人脸的表情动画的PCA系数；训练好的表情动画生成模型是使用语音样本集输入至表情动画生成模型训练得到的；将所预测的表情动画的PCA系数投影为三维人脸的表情动画数据；将所投影的表情动画数据重定向在目标数字人上。
-
公开(公告)号：CN116246006A
公开(公告)日：2023-06-09
申请号：CN202310212243.0
申请日：2023-03-01
Applicant: 之江实验室
Abstract: 基于轻量装置的时变光场的动态人脸高光材质提取算法，包括以下步骤：(1)根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin，人脸高光以Torrance‑Sparrow模型表达根据开源的人脸皮肤反射参数统计数据库Merl/ETH Skin，人脸高光以Torrance‑Sparrow模型表达；(2)将皮肤的Torrance‑Sparrow模型转为Rusinkiewicz Half‑vector参数化表达方式；(3)通过至少三个与不同Half‑vector的夹角解出法向；(4)获取法向后，再代入Torrance‑sparrow模型计算其高光的反射强度。本发明还提供基于轻量级设备的时序变化光场的动态人脸高光材质提取算法的装置。本发明充分利用人脸皮肤材质的反射模型的，提取的法向具有物理依据；不超过三个光照模式就能实现高光参数的提取，时间间隔少，适合人脸动态场景。
-
公开(公告)号：CN115311731B
公开(公告)日：2023-01-31
申请号：CN202211235204.4
申请日：2022-10-10
Applicant: 之江实验室
Abstract: 本发明公开了一种手语数字人的表情生成方法和装置，包括以下步骤：步骤S1：将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库；步骤S2：获取手语语句的词目序列和手语语句的情感属性；步骤S3：估计所述音素序列中每个音素的持续时长；步骤S4：得到平滑后的口型混合变形权重序列；步骤S5：生成情感混合变形权重序列；步骤S6：得到混合变形权重；步骤S7：将所述混合变形权重应用到手语数字人人脸模型上，生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中，使得手语数字人更加生动形象，并大大提升手语数字人在听障人群中的可理解性，具有高稳定性、算法复杂度低的优点，能够进行实时运行。
-
公开(公告)号：CN115311731A
公开(公告)日：2022-11-08
申请号：CN202211235204.4
申请日：2022-10-10
Applicant: 之江实验室
Abstract: 本发明公开了一种手语数字人的表情生成方法和装置，包括以下步骤：步骤S1：将所有口型对应的口型混合变形权重和所有情感对应的情感混合变形权重构成表情数据库；步骤S2：获取手语语句的词目序列和手语语句的情感属性；步骤S3：估计所述音素序列中每个音素的持续时长；步骤S4：得到平滑后的口型混合变形权重序列；步骤S5：生成情感混合变形权重序列；步骤S6：得到混合变形权重；步骤S7：将所述混合变形权重应用到手语数字人人脸模型上，生成手语表情动画。本发明将口型及情感的表情合成应用到手语数字人当中，使得手语数字人更加生动形象，并大大提升手语数字人在听障人群中的可理解性，具有高稳定性、算法复杂度低的优点，能够进行实时运行。
-
公开(公告)号：CN115937369A
公开(公告)日：2023-04-07
申请号：CN202211455438.X
申请日：2022-11-21
Applicant: 之江实验室
Abstract: 本发明涉及一种表情动画生成方法，包括：构建表情动画生成模型，表情动画生成模型包括文本特征编码器、语音特征编码器、表情解码器和线性层；构建训练数据集；使用训练数据集对表情动画生成模型进行训练；获取相对应的文本数据和语音数据，基于文本数据和语音数据获取文本特征和语音特征，将文本特征和语音特征输入训练好的表情动画生成模型，得到3D表情动画数据；将3D表情动画数据重定向到目标数字人脸上，在目标数字人脸上生成表情动画。与现有技术相比，本发明只需要使用语音数据和文本数据就可以完成整个人脸的表情动画生成，硬件成本和计算复杂度低，而且，通过将3D表情动画数据重定向到目标数字人脸，输出更为灵活。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.016 seconds)
