-
公开(公告)号:CN112905822B
公开(公告)日:2022-07-01
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN114972812B
公开(公告)日:2024-06-18
申请号:CN202210624115.2
申请日:2022-06-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/74 , G06N3/0464 , G06N3/08
Abstract: 本发明提供一种基于结构相似度的非局部注意力学习方法,可广泛应用于机器视觉领域,例如图像分割、图像分类、图像识别等。现有非局部注意力方法简单计算不同空域位置的两个信号内积作为二者的相似度度量,并不完全符合人类视觉感知特点。针对这一问题,本发明提出利用结构相似度衡量不同空域位置的信号之间的相似度,在非局部注意力学习方法中充分考虑人类视觉对信号感知三个重要因素,即亮度、对比度和结构。其次,本发明进一步提出多尺度结构相似度度量策略,在不同尺度上更为全面地进行信号相似度度量。因此,本发明能够取得比现有非局部注意力方法更好地注意力学习效果。
-
公开(公告)号:CN118506168A
公开(公告)日:2024-08-16
申请号:CN202410954584.X
申请日:2024-07-17
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06T7/13 , G06V10/40 , G06V10/54 , G06V10/776 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开一种基于多重特征网络的沉浸式视频质量评价方法及装置,涉及图像处理领域,包括:在沉浸式视频质量评价模型中,通过视频预处理网络对待评价的沉浸式视频包含的多个视点的纹理视频和深度视频进行视点筛选,得到筛选后视点的纹理视频和深度视频,通过时空特征提取网络对筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数;通过权重计算网络计算得到筛选后视点的时空轨迹权重,将筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入质量分数计算模块计算得到沉浸式视频的质量分数。本发明解决现有沉浸式视频质量评价算法效果较差的问题。
-
公开(公告)号:CN116128779A
公开(公告)日:2023-05-16
申请号:CN202211687228.3
申请日:2022-12-27
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明涉及一种适用于跨模态行人再辨识的随机置色数据增强方法,先对可见光图像随机裁剪局部区域,对所裁剪的局部区域进行随机灰度化变换,以及对红外光图像随机裁剪局部区域,对所裁剪的局部区域进行随机彩色化变换;再将变换后的局部区域替换为原先被裁剪区域,获取随机置色增强可见光和红外光图像用于跨模态行人再辨识步骤。本发明在图像层面上,以轻量计算代价缓解可见光和红外光图像风格差异,从而提升跨模态行人再辨识模型对模态变化的适应能力,进而提升跨模态行人再辨识的准确性。
-
公开(公告)号:CN115995065A
公开(公告)日:2023-04-21
申请号:CN202310149452.5
申请日:2023-02-22
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V20/54 , G06V10/82 , G06N3/08 , G06N3/0464
Abstract: 本发明提供一种基于动态卷积Transformer的车辆再辨识方法;不同于各个局部区域共用卷积核,本发明中各个局部区域共用一个卷积核池,由一个全连接人工神经子网从各个局部区域各自学习得到一组系数,利用各个局部区域对应的系数将卷积核池中的卷积核进行线性融合获得各个局部区域的专用卷积核,用于学习各个局部区域的特征。因此,本发明能够根据各个局部区域自身的表征特性自适应学习相应的卷积核,能够更好学习车辆图像的局部特征,从而有利于提升车辆再辨识性能。
-
公开(公告)号:CN114239730A
公开(公告)日:2022-03-25
申请号:CN202111564321.0
申请日:2021-12-20
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
Abstract: 本发明公开了一种基于近邻排序关系的跨模态检索方法,包括:构建用于图像模态数据以及文本模态数据的深度语义特征提取的深度神经网络模型;将图像数据与文本数据对分别输入到所述深度神经网络模型中进行训练;结合近邻样本排序损失函数和语义相似度度量损失函数,计算语义对齐的损失值,通过训练缩小损失值,得到训练好的深度神经网络模型;通过训练好的深度神经网络模型提取到图像数据和文本数据间的公共语义表达,并将图像的深度语义特征与文本的深度语义特征转化到公共语义空间中,实现语义相似度的度量和检索。本发明方法能够有效地实现图像和文本两种不同模态数据间的跨模态检索。
-
公开(公告)号:CN112905822A
公开(公告)日:2021-06-04
申请号:CN202110144443.8
申请日:2021-02-02
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司 , 厦门云知芯智能科技有限公司 , 厦门华联电子股份有限公司
Abstract: 本发明涉及一种基于注意力机制的深度监督跨模态对抗学习方法,针对每个模态构建深度学习网络获取深度特征,引入生成对抗网络,利用模态间的交叉判别借助注意力机制不断提炼模态特征网络的生成特征,在公共子空间进行异质性数据的度量的同时,利用标签信息在标签空间对模态数据进行深度监督学习。如此构建的网络,使得训练得到的基于注意力机制的跨模态深度监督对抗模型具有良好的图文互相检索性能;在检索过程中利用训练得到的网络模型M对待查询图像(文本)和候选库中的文本(图像)进行特征提取以及余弦距离计算,从而获取待查询图像(文本)与候选库中的文本(图像)数据之间的相似度较高者,实现跨模态检索。
-
公开(公告)号:CN120067773A
公开(公告)日:2025-05-30
申请号:CN202510535293.1
申请日:2025-04-27
Applicant: 华侨大学
IPC: G06F18/24 , G06F18/213 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了基于双核化单类宽度学习自编码器的入侵信号检测方法,涉及信号检测技术领域,方法包括:将接收的信号数据划分为训练集和测试集;使用核函数映射信号数据至特征层,并通过生成的随机矩阵重构数据以获得第一最优核函数矩阵;对特征层数据进行增强处理,得到第二最优核函数矩阵;串联重构的特征层与增强层形成隐藏层,计算其重构误差作为损失函数,求解得出输出层权重矩阵;基于训练集信号数据的重构损失设定判断阈值;结合第一和第二最优核函数矩阵、输出层权重矩阵及判断阈值,识别测试集中的入侵信号。本发明通过两次核函数映射及重构优化处理信号数据,提高了入侵信号检测的准确性。
-
公开(公告)号:CN119850441A
公开(公告)日:2025-04-18
申请号:CN202510317059.1
申请日:2025-03-18
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
Abstract: 本发明公开了一种基于频域边界协同优化的沉浸式视频增强方法及装置,涉及视频处理领域,包括:获取待重建的压缩的多视点纹理加深度视频序列并输入到经训练的沉浸式视频增强模型;当前的待增强视频帧先经过特征提取模块,分别提取得到高频特征和低频特征;高频特征和低频特征经过频域增强模块,得到频域增强图像;频域增强图像和当前的待增强视频帧输入到边界增强模块,得到融合图像;融合图像和当前的待增强视频帧的相邻视频帧输入到时空可变形卷积模块,得到对齐后的融合图像,对齐后的融合图像经过质量增强模块,预测得到增强残差并生成对应的重建视频。本发明解决压缩伪影、边界伪影以及沉浸式视频的质量低等问题。
-
公开(公告)号:CN119762721A
公开(公告)日:2025-04-04
申请号:CN202510261796.4
申请日:2025-03-06
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T19/20 , G06T9/00 , G06N3/0455 , G06N3/08
Abstract: 本发明公开了一种基于语义与几何引导的多阶段Mamba点云补全方法及装置,涉及点云处理领域,包括:构建基于语义与几何引导的多阶段Mamba点云补全模型并训练,得到经训练的多阶段Mamba点云补全模型;多排序策略Mamba解码器单元包括依次连接的若干个阶段的多排序策略Mamba解码器;获取待补全的不完整点云并输入到经训练的多阶段Mamba点云补全模型,不完整点云经过Transformer‑Mamba联合的点云局部特征编码单元,得到编码特征,编码特征输入到稀疏点云生成单元中,得到稀疏点云;稀疏点云输入到多排序策略Mamba解码器单元中,得到解码特征,解码特征经过点云上采样单元,得到预测的完整点云,克服现有Transformer编码器‑解码器结构二次方复杂度和局部细节丢失的问题。
-
-
-
-
-
-
-
-
-