公开(公告)号：CN112966644A

公开(公告)日：2021-06-15

申请号：CN202110311898.4

申请日：2021-03-24

Applicant: 中国科学院计算技术研究所

Inventor： 陈益强 ,  李雅洁 ,  谷洋 ,  王永斌 ,  张忠平 ,  肖益珊

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62 ,  G06N20/00

Abstract: 本发明提供一种用于手势检测和手势识别的多模态多任务模型及其训练方法，所述模型包括模态特征提取模块、多模态融合模块、模型多任务分类模块。本发明利用多模态通道注意力机制融合挑选与任务相关的多模态特征信息，利用软注意力值，动态调节多任务损失函数中不同任务的权重值，以使模型实时调整多个任务在训练网络中的重要性，使得模型可以同时能够获得多个任务较好的结果。

公开(公告)号：CN112884076A

公开(公告)日：2021-06-01

申请号：CN202110312274.4

申请日：2021-03-24

Applicant: 中国科学院计算技术研究所

Inventor： 陈益强 ,  王记伟 ,  谷洋 ,  王永斌 ,  张忠平 ,  肖益珊

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种基于条件式生成对抗网络的传感器数据生成模型及方法，所述模型包括：生成器以及判别器，其中，所述生成器包括第一条件功能模块、多尺度多维度功能模块、时序功能模块；所述判别器包括第二条件功能模块、时频域功能强化模块、相似度计算模块。通过本发明可以解决传感器数据采集耗时、标注成本高等问题，且可以通过类别条件控制合成满足专业人士的指定要求的逼真的多轴向时序传感器数据。