-
公开(公告)号:CN118279979A
公开(公告)日:2024-07-02
申请号:CN202410291471.6
申请日:2024-03-14
Applicant: 东北大学
IPC: G06V40/20 , G06V10/774 , G06N3/0464 , G06V20/40
Abstract: 本发明提供一种基于组合策略的第一视角行为识别方法,涉及第一视角行为识别技术领域,包括对原始的第一视角行为识别数据集进行预处理;设计分解支路,使用图神经网络提取视频样本的动词特征和介词特征、使用卷积神经网络提取视频样本的名词特征;设计组合支路,使用从训练样本中学习到的动词、介词和名词特征,为长尾类组合生成新样本;设计多分支损失函数计算模型损失,通过反向传播算法更新训练权重,直至模型收敛;测试模型的空间复杂度和时间复杂度,确定模型的量级。本发明与现有技术相比,输入数据量小,训练和推理的速度更快,缓解了第一视角行为识别数据集中存在的长尾分布问题,提高了第一视角行为识别的性能。