公开(公告)号：CN113642513A

公开(公告)日：2021-11-12

申请号：CN202111000981.6

申请日：2021-08-30

Applicant: 东南大学

Inventor： 张宇 ,  米思娅 ,  徐天宇

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力及标记分布学习的动作质量评估方法。该方法首先对视频进行预处理后将各个视频片段输入给特征提取模块，生成每个片段的时空特征；再将各视频片段的时空特征作为序列输入给自注意力模块，得到序列之间包含上下文信息的自注意力特征；将所有自注意力特征拼接并输入给标记分布学习模块，输出预测分布；再利用高斯函数将真实标签转化为真实分布，计算预测分布和真实分布的损失函数，最小化损失，对模型进行训练；最后使用训练完成的模型对测试视频进行评估，获得测试集的预测分布，进一步获得测试数据集中的评估得分。本发明以斯皮尔曼等级相关系数作为评价指标，获得了较好的评估结果，表明本动作质量评估方法的有效性。

公开(公告)号：CN113642513B

公开(公告)日：2022-11-18

申请号：CN202111000981.6

申请日：2021-08-30

Applicant: 东南大学

Inventor： 张宇 ,  米思娅 ,  徐天宇

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力及标记分布学习的动作质量评估方法。该方法首先对视频进行预处理后将各个视频片段输入给特征提取模块，生成每个片段的时空特征；再将各视频片段的时空特征作为序列输入给自注意力模块，得到序列之间包含上下文信息的自注意力特征；将所有自注意力特征拼接并输入给标记分布学习模块，输出预测分布；再利用高斯函数将真实标签转化为真实分布，计算预测分布和真实分布的损失函数，最小化损失，对模型进行训练；最后使用训练完成的模型对测试视频进行评估，获得测试集的预测分布，进一步获得测试数据集中的评估得分。本发明以斯皮尔曼等级相关系数作为评价指标，获得了较好的评估结果，表明本动作质量评估方法的有效性。