公开(公告)号：CN118196242A

公开(公告)日：2024-06-14

申请号：CN202410353885.7

申请日：2024-03-27

Applicant: 南京大学

Inventor： 周余 ,  钟林

IPC: G06T13/00 ,  G06T5/70 ,  G06F40/30 ,  G06N3/0464 ,  G06N3/0499 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开一种基于自然语言描述的人体动作生成方法、设备及产品，涉及计算机图形学与计算机视觉技术领域。所述方法包括：根据纯动作数据中各动作序列的动作特征对编码器和解码器进行训练；采用训练好的编码器对各文本对应的动作序列的动作特征进行编码得到各文本对应的动作隐变量；使用CLIP模型对各文本进行编码得到各文本对应的文本隐变量；根据各文本对应的动作隐变量和文本隐变量，基于DDPM模型对去噪模块进行训练；将目标文本对应的文本隐变量输入训练好的去噪模块得到目标文本对应的动作隐变量；将目标文本对应的动作隐变量输入训练好的解码器得到目标文本对应的动作序列。本发明可提高动作的生成质量，与文本描述更加贴合。