基于视听融合的声乐演唱情感评价方法

    公开(公告)号:CN119027765A

    公开(公告)日:2024-11-26

    申请号:CN202410973280.8

    申请日:2024-07-19

    Abstract: 本发明涉及一种基于视听融合的声乐演唱情感评价方法,属于声乐情感测评领域,其包括:构建演唱情感打分数据集,并对数据集进行预处理;采用视频特征提取网络的慢路径和快路径同时捕捉视频中的宏表情和微表情的动态信息,并将慢路径和快路径上提取的特征信息进行融合,得到视觉模态特征;提取演唱音频的能够表征演唱者情感的听觉模态特征;采用双模态交叉注意力机制对视觉模态特征和听觉模态特征进行交互得到互补的视觉模态特征和听觉模态特征,并为其设置对应的能够自主学习的权重参数,再根据特征和权重得到打分结果;构建对应的损失函数,根据损失函数计算预测打分的误差。本发明显著提高了在声乐演唱情感智能测评领域的情感评分的准确性。

Patent Agency Ranking