公开(公告)号：CN117725180A

公开(公告)日：2024-03-19

申请号：CN202311762920.2

申请日：2023-12-20

Applicant: 北京工业大学

Inventor： 邓恒 ,  高雨山 ,  郝泉 ,  翁子铮 ,  陈立鸿 ,  张利国

IPC: G06F16/332 ,  G06F16/33 ,  G06T13/20 ,  G06T13/40 ,  G06N5/022 ,  G06N3/0455 ,  G06N3/045

Abstract: 本发明公开了基于情感分析和大模型驱动的数字人校园场景系统，包含用户输入获取模块、校园知识库模块、LLM模型文本预测模块、情感分析模块模块、语音合成模块和表情及肢体动作驱动模块。用户输入获取模块接收用户的输入文本和上下文信息传递到校园知识库模块。校园知识库模块将获取到材料信息后和用户的上下文一同被送入LLM模型文本预测模块；生成的文本回答随后传递到情感分析模块。带有情感信息的回答消息文本和情感分析结果传递到语音合成模块。生成的语音以及情感信息传递到表情及肢体动作驱动模块。表情及肢体动作驱动模块负责创建数字人动画，以实现对数字人的驱动。本发明通过结合情感分析的数字人驱动方法获得良好的使用体验。