公开(公告)号：CN111711868A

公开(公告)日：2020-09-25

申请号：CN202010595530.0

申请日：2020-06-24

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  宋纯锋 ,  许啸

IPC: H04N21/81 ,  G06N3/08 ,  G06N3/04 ,  G10L19/04

Abstract: 本发明属于计算机视觉、视听任务领域，具体涉及一种基于视听多模态的舞蹈生成方法、系统、装置，旨在解决现有的舞蹈生成方法忽略了骨架信息关键点之间的连接关系，导致生成的舞蹈质量较差的问题。本系统方法包括：获取音频信息序列、2D舞蹈骨架信息，将2D舞蹈骨架信息作为第一信息；将第一信息转换为图像，并结合第一信息、音频信息序列中第t帧的音频信息，通过舞蹈生成模型生成新的2D舞蹈骨架信息，作为第二信息；判断t是否等于音频信息序列的长度，若否，令t＝t+1，将第二信息作为第一信息，循环生成第二信息；否则以第一信息顺次转换的图像作为舞蹈片段输出。本发明提高了舞蹈生成的质量。

公开(公告)号：CN111711868B

公开(公告)日：2021-07-20

申请号：CN202010595530.0

申请日：2020-06-24

Applicant: 中国科学院自动化研究所

Inventor： 张兆翔 ,  宋纯锋 ,  许啸

IPC: H04N21/81 ,  G06N3/08 ,  G06N3/04 ,  G10L19/04

Abstract: 本发明属于计算机视觉、视听任务领域，具体涉及一种基于视听多模态的舞蹈生成方法、系统、装置，旨在解决现有的舞蹈生成方法忽略了骨架信息关键点之间的连接关系，导致生成的舞蹈质量较差的问题。本系统方法包括：获取音频信息序列、2D舞蹈骨架信息，将2D舞蹈骨架信息作为第一信息；将第一信息转换为图像，并结合第一信息、音频信息序列中第t帧的音频信息，通过舞蹈生成模型生成新的2D舞蹈骨架信息，作为第二信息；判断t是否等于音频信息序列的长度，若否，令t＝t+1，将第二信息作为第一信息，循环生成第二信息；否则以第一信息顺次转换的图像作为舞蹈片段输出。本发明提高了舞蹈生成的质量。