-
公开(公告)号:CN116128779A
公开(公告)日:2023-05-16
申请号:CN202211687228.3
申请日:2022-12-27
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明涉及一种适用于跨模态行人再辨识的随机置色数据增强方法,先对可见光图像随机裁剪局部区域,对所裁剪的局部区域进行随机灰度化变换,以及对红外光图像随机裁剪局部区域,对所裁剪的局部区域进行随机彩色化变换;再将变换后的局部区域替换为原先被裁剪区域,获取随机置色增强可见光和红外光图像用于跨模态行人再辨识步骤。本发明在图像层面上,以轻量计算代价缓解可见光和红外光图像风格差异,从而提升跨模态行人再辨识模型对模态变化的适应能力,进而提升跨模态行人再辨识的准确性。
-
公开(公告)号:CN115995065A
公开(公告)日:2023-04-21
申请号:CN202310149452.5
申请日:2023-02-22
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V20/54 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供一种基于动态卷积Transformer的车辆再辨识方法;不同于各个局部区域共用卷积核,本发明中各个局部区域共用一个卷积核池,由一个全连接人工神经子网从各个局部区域各自学习得到一组系数,利用各个局部区域对应的系数将卷积核池中的卷积核进行线性融合获得各个局部区域的专用卷积核,用于学习各个局部区域的特征。因此,本发明能够根据各个局部区域自身的表征特性自适应学习相应的卷积核,能够更好学习车辆图像的局部特征,从而有利于提升车辆再辨识性能。
-
公开(公告)号:CN112818135B
公开(公告)日:2022-11-01
申请号:CN202110208342.2
申请日:2021-02-24
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于公共语义空间学习构建图文知识图谱方法,包括如下步骤:构建深度神经网络用于图像与文本数据的深度特征提取;将图像与文本数据对oi=(xi,li,yi)分别输入到深度神经网络中训练;其中oi表示第i对图像‑文本对数据以及对应的标签,xi,yi与li分别表示第i个图像数据、文本数据以及对应的标签数据;通过损失函数学习两种图像和文本数据间的公共语义表达,并将图像与文本特征转化到公共语义空间中;根据相似度度量,依据CN‑DBpedia的构建方法构建知识图谱。本发明提供的方法能有效实现图像、文本两种不同的模态间的知识图谱构建。
-
公开(公告)号:CN114239730A
公开(公告)日:2022-03-25
申请号:CN202111564321.0
申请日:2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法,包括:构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型;将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练;结合近邻样本排序损失函数和语义相似度度量损失函数,计算语义对齐的损失值,通过训练缩小损失值,得到训练好的深度神经网络模型;通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达,并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中,实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号:CN112905822A
公开(公告)日:2021-06-04
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN111985547A
公开(公告)日:2020-11-24
申请号:CN202010802066.8
申请日:2020-08-11
Applicant: 华侨大学
Abstract: 本发明涉及一种基于注意力引导生成学习的跨分辨率车辆再辨识方法,方法包括:构建基于生成学习的车辆图像超分辨率网络,注意力引导机制,端到端的车辆图像超分辨率模型和再辨识模型联合机制,联合损失函数,从而实现高效跨分辨率车辆再辨识。本发明特别考虑了车辆再辨识中跨分辨率车辆图像识别精度不高的问题,即在实际情况中捕捉到的查询图像往往是低分辨率图像,无法准确匹配到查询库中高分辨率候选图像,本发明能够有效提高跨分辨率车辆再辨识的精度。
-
-
-
-
-