公开(公告)号：CN116071573A

公开(公告)日：2023-05-05

申请号：CN202111583892.9

申请日：2021-12-22

Applicant: 南京邮电大学

Inventor： 孙宁 ,  朱良伟 ,  李响

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明是一种基于人体骨架数据和语义关联的零样本行为识别方法，包括：步骤1：使用训练好的骨架特征提取网络从骨架数据中提取视觉特征；步骤2：构建对抗生成网络模型和分类器网络；步骤3：训练对抗生成网络模型进行训练，特征生成网络生成可见类标签对应的视觉特征样本；步骤4：将不可见类数据的语义特征输入到特征生成网络不可见类标签对应的视觉特征样本，训练分类器网络；步骤5：识别未见类的行为样本时，先使用骨架特征提取网络从中提取视觉特征，然后输入到分类器网络中得到分类结果。本发明有效利用了短语在表征语义时各单词之间的语义关联，改善零样本行为识别中生成器的泛化能力较低的问题，提升分类器训练后对未见类的识别率。

公开(公告)号：CN114266938A

公开(公告)日：2022-04-01

申请号：CN202111592561.1

申请日：2021-12-23

Applicant: 南京邮电大学

Inventor： 孙宁 ,  李响 ,  朱良伟

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于多模态信息和全局注意力机制的场景识别方法，具体包括步骤1：选取多个场景的RGB图像和深度图像，将编码后的深度图像与RGB图像进行配对，划分为训练集和测试集；步骤2：构建双通道深度神经网络模型；步骤3：将步骤1中划分好的训练集送入到步骤2中的双通道深度神经网络中进行训练；步骤4：识别场景图片。本发明有效的利用了RGB图像和深度图像之间的互补性，通过对RGB图像和深度图像进行全局注意力监测，分别获得对应的可学习类别向量，从而进行场景分类，本发明在提高特征提取能力以及保持并行计算特点的同时，还提高了多模态场景识别的识别率。

公开(公告)号：CN114266938B

公开(公告)日：2024-12-03

申请号：CN202111592561.1

申请日：2021-12-23

Applicant: 南京邮电大学

Inventor： 孙宁 ,  李响 ,  朱良伟

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明是一种基于多模态信息和全局注意力机制的场景识别方法，具体包括步骤1：选取多个场景的RGB图像和深度图像，将编码后的深度图像与RGB图像进行配对，划分为训练集和测试集；步骤2：构建双通道深度神经网络模型；步骤3：将步骤1中划分好的训练集送入到步骤2中的双通道深度神经网络中进行训练；步骤4：识别场景图片。本发明有效的利用了RGB图像和深度图像之间的互补性，通过对RGB图像和深度图像进行全局注意力监测，分别获得对应的可学习类别向量，从而进行场景分类，本发明在提高特征提取能力以及保持并行计算特点的同时，还提高了多模态场景识别的识别率。