-
公开(公告)号:CN118015389B
公开(公告)日:2024-06-25
申请号:CN202311416291.8
申请日:2023-10-30
Applicant: 江苏建筑职业技术学院
IPC: G06V10/77 , G06V10/80 , G06V10/82 , G06F17/18 , G06N3/0499
Abstract: 本发明提供了一种基于混合条件变分自编码的多样化图像描述生成方法,包括:分别获取输入的图像和文本的视觉特征和生成文本描述,引入句子级全局隐向量和单词级序列隐向量,构建混合条件变分自编码生成模型;获取基于时间步的变分证据下界,利用全局条件变分编码网络、条件序列变分编码网络和解码网络优化变分证据下界。
-
公开(公告)号:CN110503113A
公开(公告)日:2019-11-26
申请号:CN201910801714.5
申请日:2019-08-28
Applicant: 江苏建筑职业技术学院
Abstract: 本发明公开了一种基于低秩矩阵恢复的图像显著性目标检测方法,包括:从原始图像中提取颜色特征,结合图像超像素,确定原始图像的特征矩阵;从特征矩阵中分解出低秩矩阵;利用图像超像素按照索引树生成算法构造原始图像的分层索引树,结合高层先验信息,确定原始图像的分层稀疏范数;将低秩矩阵进行三元分解,确定原始图像的结构化低秩矩阵恢复模型;将原始图像的分层稀疏范数和原始图像的结构化低秩矩阵恢复模型融合,并结合交替方向优化算法,获得显著图。本发明引入低秩矩阵三元分解加快奇异值分解的方法,解决了最小化矩阵迹范数导致的高计算复杂度问题;通过构造索引树,结合高层先验,解决了复杂背景下的无监督图像显著性目标检测问题。
-
公开(公告)号:CN110490206A
公开(公告)日:2019-11-22
申请号:CN201910771452.2
申请日:2019-08-20
Applicant: 江苏建筑职业技术学院
Abstract: 本发明提出了一种低秩矩阵双因子分解和结构化稀疏矩阵分解联合优化模型,并应用于显著性目标检测。算法不仅利用低秩矩阵双因子分解和交替方向法(ADM)来降低时间开销,而且引入分层稀疏正则化刻画稀疏矩阵中元素之间的空间关系。此外,所提算法能够无缝集成高层先验知识指导矩阵分解过程。实验结果表明,提出模型和算法的检测性能优于当前主流无监督显著性目标检测算法,且具有较低的时间复杂度。
-
公开(公告)号:CN116912599B
公开(公告)日:2024-12-24
申请号:CN202311009413.1
申请日:2023-08-11
Applicant: 江苏建筑职业技术学院
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/08
Abstract: 本发明提供了一种基于条件变分自编码和对比学习的图像多样化描述方法,包括:将训练集中的每一个图像‑描述对输入至一个单支路条件变分自编码器和解码器网络模型进行预训练,获得预训练后的序列隐变量;引入另一单支路条件变分自编码器和解码器网络,计算变分下界损失函数,通过该支路条件变分自编码器获得编码的序列隐变量;引入单词级双向对比学习损失函数,提升序列隐变量zc的单词级判别能力;获得全局对比学习目标函数;获得联合优化目标,提升图像多样化模型的隐表示判别能力和细粒度的描述语句解码能力,从而获得高质量的多样化描述语句。
-
公开(公告)号:CN118736361A
公开(公告)日:2024-10-01
申请号:CN202410733297.6
申请日:2024-06-07
Applicant: 江苏建筑职业技术学院
IPC: G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/26
Abstract: 本发明提供了一种全景分割与多视觉特征协同的图像描述生成方法,包括:提取输入图像的网格特征和基于全景分割的掩膜特征并编码;通过双流交叉注意力将文本语义特征与网格特征和掩膜特征进行交叉融合。
-
公开(公告)号:CN110490206B
公开(公告)日:2023-12-26
申请号:CN201910771452.2
申请日:2019-08-20
Applicant: 江苏建筑职业技术学院
Abstract: 本发明提出了一种低秩矩阵双因子分解和结构化稀疏矩阵分解联合优化模型,并应用于显著性目标检测。算法不仅利用低秩矩阵双因子分解和交替方向法(ADM)来降低时间开销,而且引入分层稀疏正则化刻画稀疏矩阵中元素之间的空间关系。此外,所提算法能够无缝集成高层先验知识指导矩阵分解过程。实验结果表明,提出模型和算法的检测性能优于当前主流无监督显著性目标检测算法,且具有较低的时间复杂度。
-
公开(公告)号:CN116912599A
公开(公告)日:2023-10-20
申请号:CN202311009413.1
申请日:2023-08-11
Applicant: 江苏建筑职业技术学院
IPC: G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/08
Abstract: 本发明提供了一种基于条件变分自编码和对比学习的图像多样化描述方法,包括:将训练集中的每一个图像‑描述对输入至一个单支路条件变分自编码器和解码器网络模型进行预训练,获得预训练后的序列隐变量;引入另一单支路条件变分自编码器和解码器网络,计算变分下界损失函数,通过该支路条件变分自编码器获得编码的序列隐变量;引入单词级双向对比学习损失函数,提升序列隐变量zc的单词级判别能力;获得全局对比学习目标函数;获得联合优化目标,提升图像多样化模型的隐表示判别能力和细粒度的描述语句解码能力,从而获得高质量的多样化描述语句。
-
公开(公告)号:CN113298816A
公开(公告)日:2021-08-24
申请号:CN202110688223.1
申请日:2021-06-21
Applicant: 江苏建筑职业技术学院
Abstract: 本发明公开了一种遥感图像语义分割方法、装置和计算机设备,该方法包括:获取原始遥感图像;将原始遥感图像依次输入至纵横交错循环注意力模块、深度语义分割网络中,获得语义分割预测图像;将语义分割预测图像和标注图像的独热编码向量输入至双重鉴别器生成式对抗网络中,获得语义分割置信图像。本发明利用纵横交错注意力和双重对抗网络,能有效地避免模式崩溃并有效地扩展到遥感数据集;即生成器采用注意力循环模块专注于像素之间的长距离相关性,至于双重对抗网络,两个鉴别器共享一个生成器,但是参数不是在两个鉴别器之间共享,当标注数据量很小时,通过半监督注意力双重对抗网络的方法,可以获得更好的性能。
-
公开(公告)号:CN118736361B
公开(公告)日:2025-02-07
申请号:CN202410733297.6
申请日:2024-06-07
Applicant: 江苏建筑职业技术学院
IPC: G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/26
Abstract: 本发明提供了一种全景分割与多视觉特征协同的图像描述生成方法,包括:提取输入图像的网格特征和基于全景分割的掩膜特征并编码;通过双流交叉注意力将文本语义特征与网格特征和掩膜特征进行交叉融合。
-
公开(公告)号:CN113298815A
公开(公告)日:2021-08-24
申请号:CN202110686544.8
申请日:2021-06-21
Applicant: 江苏建筑职业技术学院
Abstract: 本发明公开了一种半监督遥感图像语义分割方法、装置和计算机设备,该方法包括:获取原始遥感图像;将原始遥感图像缩放为尺寸大小不同的3个缩放图像;将3个缩放图像分别输入至3个纵横交错注意力模块中,获得3个注意力特征图;及对3个注意力特征图进行融合处理,获得多尺度注意力特征图;将多尺度注意力特征图输入至深度语义分割网络,获得语义分割预测图。本发明基于多尺度注意力的半监督遥感图像语义分割模型,既能利用无标注数据训练整个模型,又能充分的利用特征图之间的全局上下文关系,从而有效的提升了遥感图像目标间的边缘分割精度,提升了整体的准确率。
-
-
-
-
-
-
-
-
-