公开(公告)号：CN116756571A

公开(公告)日：2023-09-15

申请号：CN202310779069.8

申请日：2023-06-28

Applicant: 中国科学院计算技术研究所

Inventor： 张迎伟 ,  郭昌如 ,  陈益强

IPC: G06F18/214 ,  G06F18/24 ,  G06F18/25 ,  G06F17/14 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供了一种基于时频融合增强的行为识别模型训练方法，包括：A1、获取训练集，其中原始样本是传感数据，标签指示对应传感数据被采集时人体的行为类别；A2、将训练集划分成多个批次，分批次迭代训练行为识别模型的特征提取器，每批次训练包括：A21、对每个原始样本分别进行时域增强和时域增强后融合，A22、基于各个原始样本及对应的时频增强样本，通过对比学习的方式训练所述特征提取器根据输入的样本提取样本特征，拉近原始样本及其对应的时频增强样本的样本特征的距离以及拉远原始样本与其他样本的样本特征的距离；A3、获取行为识别模型，其包括经步骤A2训练的特征提取器和分类器，利用所述训练集对所述行为识别模型进行分类训练。

公开(公告)号：CN116935163A

公开(公告)日：2023-10-24

申请号：CN202310924524.9

申请日：2023-07-26

Applicant: 中国科学院计算技术研究所

Inventor： 张迎伟 ,  郭昌如 ,  陈益强

IPC: G06V10/774 ,  G06V10/776 ,  G06V40/20 ,  G06V10/764

Abstract: 本发明提供了一种行为识别模型的构建方法和用户行为识别方法，构建方法用于识别人体行为，包括A1、获取第一训练集，其包括多个第一样本和第一标签，每个第一样本包括多模态的传感数据，第一标签指示行为类别；A2、根据第一标签将第一训练集分为多个批次，以使每个批次内包括多个第一样本且彼此对应的行为类别不同；A3、分批次训练多个模态的特征提取器分别根据输入的数据提取该模态的行为特征，并基于各模态的行为特征进行模态内对比学习和模态间对比学习以更新特征提取器的可训练参数；A4、基于经步骤A3训练的多个模态的特征提取器和分类器构建行为识别模型，利用第二训练集对行为识别模型进行有监督的微调训练，得到经训练的行为识别模型。