公开(公告)号：CN114187544A

公开(公告)日：2022-03-15

申请号：CN202111447603.2

申请日：2021-11-30

Applicant: 厦门大学

Inventor： 黄玲毅 ,  林和志 ,  郭洋洋 ,  姚舜禹 ,  许智军 ,  陈勇 ,  郑超茹 ,  黄联芬

IPC: G06V20/40 ,  G06Q10/06 ,  G06Q50/20

Abstract: 本发明提出了一种大学英语演讲多模态自动评分方法、介质及设备，其中方法包括：获取历史演讲数据；提取文本特征、音频特征和视频特征，并进行模型的训练，以得到语言使用评分子模型、言语表达评分子模型和非语言评分子模型；根据三个子模型的输出和综合评分生成第四数据集；进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取对应的文本特征、音频特征和视频特征，以及通过三个子模型输出对应的单项评分；将单项评分输入到多模态融合学习模型，以通过多模态融合学习模型输出待评分演讲视频对应的最终评分结果；能够对英语演讲进行多模态评分，提高评分准确性、评分效率；同时，降低英语演讲评分所需成本。

公开(公告)号：CN114187544B

公开(公告)日：2024-08-09

申请号：CN202111447603.2

申请日：2021-11-30

Applicant: 厦门大学

Inventor： 黄玲毅 ,  林和志 ,  郭洋洋 ,  姚舜禹 ,  许智军 ,  陈勇 ,  郑超茹 ,  黄联芬

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/80 ,  G06F40/284 ,  G06F18/214 ,  G06F18/25 ,  G10L15/02 ,  G10L15/18 ,  G10L25/69 ,  G06Q10/0639 ,  G06Q50/20

Abstract: 本发明提出了一种大学英语演讲多模态自动评分方法、介质及设备，其中方法包括：获取历史演讲数据；提取文本特征、音频特征和视频特征，并进行模型的训练，以得到语言使用评分子模型、言语表达评分子模型和非语言评分子模型；根据三个子模型的输出和综合评分生成第四数据集；进行模型的训练，以得到多模态融合学习模型；获取待评分演讲视频，并提取对应的文本特征、音频特征和视频特征，以及通过三个子模型输出对应的单项评分；将单项评分输入到多模态融合学习模型，以通过多模态融合学习模型输出待评分演讲视频对应的最终评分结果；能够对英语演讲进行多模态评分，提高评分准确性、评分效率；同时，降低英语演讲评分所需成本。