一种基于组合策略的第一视角行为识别方法

    公开(公告)号:CN118279979A

    公开(公告)日:2024-07-02

    申请号:CN202410291471.6

    申请日:2024-03-14

    Applicant: 东北大学

    Abstract: 本发明提供一种基于组合策略的第一视角行为识别方法,涉及第一视角行为识别技术领域,包括对原始的第一视角行为识别数据集进行预处理;设计分解支路,使用图神经网络提取视频样本的动词特征和介词特征、使用卷积神经网络提取视频样本的名词特征;设计组合支路,使用从训练样本中学习到的动词、介词和名词特征,为长尾类组合生成新样本;设计多分支损失函数计算模型损失,通过反向传播算法更新训练权重,直至模型收敛;测试模型的空间复杂度和时间复杂度,确定模型的量级。本发明与现有技术相比,输入数据量小,训练和推理的速度更快,缓解了第一视角行为识别数据集中存在的长尾分布问题,提高了第一视角行为识别的性能。

Patent Agency Ranking