- 专利标题: 一种小样本学习的长序列动作识别方法
-
申请号: CN202411138995.8申请日: 2024-08-19
-
公开(公告)号: CN118968385A公开(公告)日: 2024-11-15
- 发明人: 张竞慧 , 黄文博 , 张书展 , 金嘉晖 , 东方
- 申请人: 东南大学
- 申请人地址: 江苏省南京市江宁区东南大学路2号
- 专利权人: 东南大学
- 当前专利权人: 东南大学
- 当前专利权人地址: 江苏省南京市江宁区东南大学路2号
- 代理机构: 南京众联专利代理有限公司 32206专利代理师杜静静
- 主分类号: G06V20/40
- IPC分类号: G06V20/40 ; G06V10/774 ; G06V10/764 ; G06V10/82 ; G06N3/0464 ; G06N3/048 ; G06N3/088
摘要:
本发明提供了一种用于小样本学习的长序列动作识别方法,旨在解决传统基于Transformer的方法在处理长序列时面临的高计算复杂度问题,同时改进局部特征建模和时序对齐的能力,并缓解类内差异积累对模型性能的负面影响。本发明主要包括三个核心部分:特征提取模块、Mamba分支模块和对比学习模块。针对传统Mamba方法在小样本动作识别中的局限性,本发明提出了一种多尺度的Matryoshka Mamba模型。该模型通过内模块增强局部特征的表达能力,并通过外模块实现局部特征的精确对齐。此外,本发明还提出了一种混合对比学习方法,用以有效缓解同类别长序列的类内差异积累对小样本动作识别性能的负面影响。本发明在提升小样本学习效率的同时,显著提高了长序列动作识别的准确性和鲁棒性。