公开(公告)号：CN115294441B

公开(公告)日：2023-02-10

申请号：CN202211205005.9

申请日：2022-09-30

Applicant: 南京邮电大学

Inventor： 朱博 ,  谢俊哲 ,  范希明 ,  高翔 ,  徐国政 ,  程泽恒 ,  姚子雄

IPC: G06V20/00 ,  G06V10/40 ,  G06V10/42 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种由注意力融合三特征的机器人场景识别与解析方法，提出利用物品识别算法中物品特征图进一步精确解析场景中物品信息的方法；提出一种获取物品单体描述信度的方法，并且设计了由物品单体描述信度组成的物品向量；改造了卷积神经网络CNN的全连接层网络，并定义了某个全连接层网络的输出为全局特征；求出卷积神经网络CNN卷积层的输出的格拉姆矩阵，并提出全连接层网络的结构，在输入为格拉姆矩阵时输出为风格特征；利用注意力机制将三种特征进行融合，并将融合注意力向量送进用于分类的全连接层网络，输出即为最终的场景标签。本发明支持整体训练优化，可以解析该场景的物品标签与场景标签，在室内场景解析与场景分类中有较好的结果。

公开(公告)号：CN115496996A

公开(公告)日：2022-12-20

申请号：CN202211301086.2

申请日：2022-10-24

Applicant: 南京邮电大学

Inventor： 朱博 ,  张晓磊 ,  张云帆 ,  王逸 ,  谢俊哲

IPC: G06V20/00 ,  G06V10/774 ,  G06F16/36

Abstract: 本发明属于室内场景识别方法，具体地说，是一种基于知识图谱嵌入的机器人室内场景识别方法，具体包括以下步骤：选取足够且合适的物品类别、属类概念和场景名称，构建实体字典；设计关系字典；构建三元组形式的场景描述；以上述三元组场景描述数据为基础，训练可处理非对称关系的模型，得到以嵌入向量表达的场景知识模型；当机器人获取新的场景图片后，由打分函数给出图片中所有可能三元组的评分，将得分最高三元组的尾实体场景名称，作为场景识别的最终结果。本发明从概念层面描述场景，充分利用场景内的实体语义信息完成识别，相比主流场景识别方法，对底层检测器有一定容错能力，并且语义信息丰富、模型具有解释性，便于机器人应用。

公开(公告)号：CN115294441A

公开(公告)日：2022-11-04

申请号：CN202211205005.9

申请日：2022-09-30

Applicant: 南京邮电大学

Inventor： 朱博 ,  谢俊哲 ,  范希明 ,  高翔 ,  徐国政 ,  程泽恒 ,  姚子雄

IPC: G06V20/00 ,  G06V10/40 ,  G06V10/42 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 一种由注意力融合三特征的机器人场景识别与解析方法，提出利用物品识别算法中物品特征图进一步精确解析场景中物品信息的方法；提出一种获取物品单体描述信度的方法，并且设计了由物品单体描述信度组成的物品向量；改造了卷积神经网络CNN的全连接层网络，并定义了某个全连接层网络的输出为全局特征；求出卷积神经网络CNN卷积层的输出的格拉姆矩阵，并提出全连接层网络的结构，在输入为格拉姆矩阵时输出为风格特征；利用注意力机制将三种特征进行融合，并将融合注意力向量送进用于分类的全连接层网络，输出即为最终的场景标签。本发明支持整体训练优化，可以解析该场景的物品标签与场景标签，在室内场景解析与场景分类中有较好的结果。