-
公开(公告)号:CN119339085A
公开(公告)日:2025-01-21
申请号:CN202411866006.7
申请日:2024-12-18
Applicant: 西北工业大学
Abstract: 本申请涉及深度学习技术领域,特别涉及一种基于层级共享架构搜索的轻量级RGB‑D图像语义分割方法,包括:构建并预训练双分支轻量级骨干网络;构建适用于RGB‑D图像语义分割的分层的单元级搜索空间,最终得到跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至跨模态多尺度特征自适应融合网络中进行搜索,并使用梯度下降的优化算法进行优化,得到最优的跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至最优的跨模态多尺度特征自适应融合网络进行重新训练,得到对多模态输入图像的语义分割结果。该方法实现了语义分割精度与速度之间的平衡。
-
公开(公告)号:CN117610696B
公开(公告)日:2024-10-25
申请号:CN202310219093.6
申请日:2023-03-08
Applicant: 西北工业大学
Abstract: 本发明涉及一种利用不同属性跨数据集的径流预测方法,属于径流预测技术领域。首先,消除了各个国家或地区的降雨‑径流数据集的结构差异,建立具有全球性质的规范化数据集;其次,构建了一种能够利用不同属性跨数据集的Transformer,充分利用了Transformer具有的灵活归纳偏置,并且能够使用跨数据集的不同属性,非自回归式解码能够一次性得到多步预测结果。因此,所训练的径流预测模型具备全球性径流预测的先验知识,具备通用性、易于迁移学习,适用于跨数据集、少数据甚至无数据情况下的径流预测。
-
公开(公告)号:CN118552738B
公开(公告)日:2024-10-11
申请号:CN202411025975.X
申请日:2024-07-30
Applicant: 西北工业大学
IPC: G06V10/26 , G06N3/0455 , G06N3/082 , G06V10/80 , G06V10/82
Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种基于多关系基特征协同和投影融合的多模态语义分割方法,包括:对多模态样本图像进行分割,得到多模态图像块;构建由两个编码器、融合模块和解码器构成的多模态协同语义分割网络;将多模态图像块分别输入至两个编码器中,经编码器、融合模块和解码器处理后,得到对多模态样本图像对的语义分割结果;计算各类别中心,基于各类别中心、多模态样本图像对的语义分割结果和真实标签构建总体损失函数,以对多模态协同语义分割网络进行迭代训练至收敛,得到训练完成的网络;将待处理多模态图像对输入至训练完成的网络中,获得对待处理多模态图像对的语义分割结果。该方法有效提升了语义分割的效果。
-
公开(公告)号:CN116704171B
公开(公告)日:2024-09-10
申请号:CN202310233836.5
申请日:2023-03-13
Applicant: 西北工业大学
IPC: G06V10/24 , G06V20/13 , G06V10/44 , G06V10/46 , G06V10/52 , G06V10/80 , G06V10/82 , G06V10/774 , G06N3/045 , G06N3/084
Abstract: 本发明涉及一种基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法,属于定位技术领域。设计了一种跨视角地理定位网络模型,首先,坐标注意力对输入特征图行列加权优化特征细节,特征压缩模块负责压缩特征图尺寸,去除冗余的通道信息,并压缩编码长度,多尺度注意力融合模块则将两个不同尺度的特征利用注意力加权后融合,提升了多尺度融合效果。针对三元组损失训练中后期小批量内缺少有价值的难样本导致训练停滞的问题,设计了一个跨批量难样本挖掘方法,根据当前网络状态从队列中挖掘最难的负样本,扩大了难样本挖掘范围,并实时更新队列描述符,使得网络可以更加关注卫星图像和街景图中难以区分的局部特征细节,提升最终的检索精度。
-
公开(公告)号:CN118552738A
公开(公告)日:2024-08-27
申请号:CN202411025975.X
申请日:2024-07-30
Applicant: 西北工业大学
IPC: G06V10/26 , G06N3/0455 , G06N3/082 , G06V10/80 , G06V10/82
Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种基于多关系基特征协同和投影融合的多模态语义分割方法,包括:对多模态样本图像进行分割,得到多模态图像块;构建由两个编码器、融合模块和解码器构成的多模态协同语义分割网络;将多模态图像块分别输入至两个编码器中,经编码器、融合模块和解码器处理后,得到对多模态样本图像对的语义分割结果;计算各类别中心,基于各类别中心、多模态样本图像对的语义分割结果和真实标签构建总体损失函数,以对多模态协同语义分割网络进行迭代训练至收敛,得到训练完成的网络;将待处理多模态图像对输入至训练完成的网络中,获得对待处理多模态图像对的语义分割结果。该方法有效提升了语义分割的效果。
-
公开(公告)号:CN118135256A
公开(公告)日:2024-06-04
申请号:CN202311384718.0
申请日:2023-10-24
Applicant: 西北工业大学
Abstract: 本公开实施例是关于一种基于边缘引导的从粗到细的异源图像匹配方法。本公开基于子空间投影的异源特征提取模块在处理多尺度特征空间信息的同时能有效加强特征的融合和跨模态信息的提取;全局信息整合模块建模相邻层之间的全局依赖性,在不同的区域之间进行多层次的交互以更详细地关注特定区域并在不同区域之间建立联系,从而生成更具辨别性和准确度的粗粒度特征;粗匹配模块使用双向softmax函数处理粗粒度的注意力特征,生成置信度矩阵;局部特征细化‑精细回归模块设计局部特征窗口,通过编码器提取细粒度特征,精细回归子模块对粗匹配的预测结果进行再调整,最终实现精确的异源图像特征匹配。该方法能够从粗到细地对齐异源图像,提高匹配精度。
-
公开(公告)号:CN114943835B
公开(公告)日:2024-03-12
申请号:CN202210415977.4
申请日:2022-04-20
Applicant: 西北工业大学
Abstract: 本发明公开了一种基黄河冰凌无人机航拍图像实时语义分割方法,根据收集的无人机航拍冰凌图像构造黄河冰凌语义分割数据集,数据集包含黄河无人机航拍冰凌图像以及标签数据;再利用构建的黄河冰凌语义分割数据集对分割网络FastICENet进行训练,得到最终的语义分割模型。即使图像中冰凌大小形态各异,本发明的检测结果依然精确;本发明的语义分割网络在精度与其他网络相近时,分割速度远胜于其他语义分割网络。
-
-
公开(公告)号:CN117173701A
公开(公告)日:2023-12-05
申请号:CN202311029793.5
申请日:2023-08-14
Applicant: 西北工业大学
IPC: G06V20/70 , G06V10/26 , G06V10/774 , G06V10/778 , G06V10/762 , G06V10/764 , G06V10/77 , G06V10/82 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/091 , G06N3/096 , G06N3/0895 , G06N3/084 , G06N3/0985
Abstract: 本发明公开了一种基于超像素特征表征学习的语义分割主动学习方法,设计一个特征提取头来提取主干网络输出的特征,输出逐像素的特征向量,通过特征存储库存储历史类别的特征向量,通过难样本挖掘技术选择对比学习中的正负样本,应用INFONCE损失使得同类间的特征向量靠近,不同类的向量远离。在样本选择方面,通过特征存储库中的向量对UMAP算法进行训练,然后经过超像素分割的未标记的图像区域的特征向量进行降维,再通过Kmeans算法进行聚类,在各个簇中根据熵值选择需要标记的超像素块,以此通过最少的标注数据达到最好的分割性能。实验表明,仅通过8%的有标记数据即可达到全标记数据的95%的性能,领先于现有的应用于语义分割的主动学习的方法。
-
公开(公告)号:CN116386081A
公开(公告)日:2023-07-04
申请号:CN202310181211.9
申请日:2023-03-01
Applicant: 西北工业大学
IPC: G06V40/10 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/08 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开了一种基于多模态图像的行人检测方法及系统,属于行人检测技术领域,方法包括:获取采集的多模态图像的多个第一特征图,在可变形检测Transformer模型编码器中输入多个所述第一特征图,获得多个第二特征图;在可变形检测Transformer模型的解码器中输入多个所述第二特征图,输出第二关键点群检测特征,在目标检测头中输入所述第二关键点群检测特征,输出行人检测类别以及行人的边界框,构建模型,在构建模型中输入采集的所述多模态图像,输出行人及行人的边界框。该方法可以减少先验知识的使用,增加模型可解释性的同时,有效提高了检测性能,并且加快了模型的收敛速度。
-
-
-
-
-
-
-
-
-