公开(公告)号：CN115294441B

公开(公告)日：2023-02-10

申请号：CN202211205005.9

申请日：2022-09-30

Applicant: 南京邮电大学

Inventor： 朱博 ,  谢俊哲 ,  范希明 ,  高翔 ,  徐国政 ,  程泽恒 ,  姚子雄

IPC: G06V20/00 ,  G06V10/40 ,  G06V10/42 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种由注意力融合三特征的机器人场景识别与解析方法，提出利用物品识别算法中物品特征图进一步精确解析场景中物品信息的方法；提出一种获取物品单体描述信度的方法，并且设计了由物品单体描述信度组成的物品向量；改造了卷积神经网络CNN的全连接层网络，并定义了某个全连接层网络的输出为全局特征；求出卷积神经网络CNN卷积层的输出的格拉姆矩阵，并提出全连接层网络的结构，在输入为格拉姆矩阵时输出为风格特征；利用注意力机制将三种特征进行融合，并将融合注意力向量送进用于分类的全连接层网络，输出即为最终的场景标签。本发明支持整体训练优化，可以解析该场景的物品标签与场景标签，在室内场景解析与场景分类中有较好的结果。

公开(公告)号：CN115294441A

公开(公告)日：2022-11-04

申请号：CN202211205005.9

申请日：2022-09-30

Applicant: 南京邮电大学

Inventor： 朱博 ,  谢俊哲 ,  范希明 ,  高翔 ,  徐国政 ,  程泽恒 ,  姚子雄

IPC: G06V20/00 ,  G06V10/40 ,  G06V10/42 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 一种由注意力融合三特征的机器人场景识别与解析方法，提出利用物品识别算法中物品特征图进一步精确解析场景中物品信息的方法；提出一种获取物品单体描述信度的方法，并且设计了由物品单体描述信度组成的物品向量；改造了卷积神经网络CNN的全连接层网络，并定义了某个全连接层网络的输出为全局特征；求出卷积神经网络CNN卷积层的输出的格拉姆矩阵，并提出全连接层网络的结构，在输入为格拉姆矩阵时输出为风格特征；利用注意力机制将三种特征进行融合，并将融合注意力向量送进用于分类的全连接层网络，输出即为最终的场景标签。本发明支持整体训练优化，可以解析该场景的物品标签与场景标签，在室内场景解析与场景分类中有较好的结果。