公开(公告)号：CN110852292A

公开(公告)日：2020-02-28

申请号：CN201911126783.7

申请日：2019-11-18

Applicant: 南京邮电大学

Inventor： 吴飞 ,  冯宇健 ,  季一木 ,  荆晓远 ,  胡长晖 ,  韩璐

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明公开了一种基于跨模态多任务深度度量学习的草图人脸识别方法，首先构建人脸样本图像数据库并进行预处理，对样本进行两两配对，形成草图和正常图片的两种模态的配对；然后对每一个草图和正常图片这两种模态使用对应的神经网络来学习特征，同时让两种模态的网络结构进行参数共享；最后，将两种模态得到的特征投影到公共空间中，计算特征向量之际的距离，通过设计目标函数，根据距离大小来验证结果；通过在两个常用的基准数据集上的实验结果可以直观看出，本发明提供的方法比现有的方法具有更好的跨模态分类性能。

公开(公告)号：CN117058502A

公开(公告)日：2023-11-14

申请号：CN202310871137.3

申请日：2023-07-14

Applicant: 南京邮电大学

Inventor： 季一木 ,  解学东 ,  刘尚东 ,  冯宇健 ,  陈家园 ,  吴隆基 ,  曹埔铭 ,  何俊杰 ,  冯保龙

IPC: G06V10/80 ,  G06V10/62 ,  G06V20/52 ,  G06V10/82 ,  G06V10/74 ,  G06V10/774 ,  G06V10/77

Abstract: 本发明属于行人重识别方法技术领域，公开了一种基于CLIP深度度量学习的文本到图像的跨模态行人重识别方法，首先构建文本图像数据库并进行预处理，对图片以及对应图片的文本描述两两配对，形成图片文本描述和对应行人图片的文本与图片模态的配对，然后对每一个文本描述和对应的行人图片使用对应的神经网络进行特征的学习，同时让两种模态的网络结构进行参数共享，将两种模态得到的特征投影到公共空间中，实现全局对齐视觉和文本嵌入，通过相似分布匹配，对图像‑文本相似分布和归一化标签匹配分布之间的模态差异最小化。本发明对模态内特征分布更为均匀，更有效的提取两种模态的特征，提高行人图片识别的精度，具有更好的跨模态分类性能。

公开(公告)号：CN110852292B

公开(公告)日：2022-02-01

申请号：CN201911126783.7

申请日：2019-11-18

Applicant: 南京邮电大学

Inventor： 吴飞 ,  冯宇健 ,  季一木 ,  荆晓远 ,  胡长晖 ,  韩璐

IPC: G06V40/16 ,  G06K9/62 ,  G06V10/778 ,  G06N3/04

Abstract: 本发明公开了一种基于跨模态多任务深度度量学习的草图人脸识别方法，首先构建人脸样本图像数据库并进行预处理，对样本进行两两配对，形成草图和正常图片的两种模态的配对；然后对每一个草图和正常图片这两种模态使用对应的神经网络来学习特征，同时让两种模态的网络结构进行参数共享；最后，将两种模态得到的特征投影到公共空间中，计算特征向量之际的距离，通过设计目标函数，根据距离大小来验证结果；通过在两个常用的基准数据集上的实验结果可以直观看出，本发明提供的方法比现有的方法具有更好的跨模态分类性能。