基于层级共享架构搜索的轻量级RGB-D图像语义分割方法

    公开(公告)号:CN119339085A

    公开(公告)日:2025-01-21

    申请号:CN202411866006.7

    申请日:2024-12-18

    Abstract: 本申请涉及深度学习技术领域,特别涉及一种基于层级共享架构搜索的轻量级RGB‑D图像语义分割方法,包括:构建并预训练双分支轻量级骨干网络;构建适用于RGB‑D图像语义分割的分层的单元级搜索空间,最终得到跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至跨模态多尺度特征自适应融合网络中进行搜索,并使用梯度下降的优化算法进行优化,得到最优的跨模态多尺度特征自适应融合网络;将双分支轻量级骨干网络的第三层、第四层和第五层的输出,输入至最优的跨模态多尺度特征自适应融合网络进行重新训练,得到对多模态输入图像的语义分割结果。该方法实现了语义分割精度与速度之间的平衡。

    一种利用不同属性跨数据集的径流预测方法

    公开(公告)号:CN117610696B

    公开(公告)日:2024-10-25

    申请号:CN202310219093.6

    申请日:2023-03-08

    Abstract: 本发明涉及一种利用不同属性跨数据集的径流预测方法,属于径流预测技术领域。首先,消除了各个国家或地区的降雨‑径流数据集的结构差异,建立具有全球性质的规范化数据集;其次,构建了一种能够利用不同属性跨数据集的Transformer,充分利用了Transformer具有的灵活归纳偏置,并且能够使用跨数据集的不同属性,非自回归式解码能够一次性得到多步预测结果。因此,所训练的径流预测模型具备全球性径流预测的先验知识,具备通用性、易于迁移学习,适用于跨数据集、少数据甚至无数据情况下的径流预测。

    基于多关系基特征协同和投影融合的多模态语义分割方法

    公开(公告)号:CN118552738B

    公开(公告)日:2024-10-11

    申请号:CN202411025975.X

    申请日:2024-07-30

    Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种基于多关系基特征协同和投影融合的多模态语义分割方法,包括:对多模态样本图像进行分割,得到多模态图像块;构建由两个编码器、融合模块和解码器构成的多模态协同语义分割网络;将多模态图像块分别输入至两个编码器中,经编码器、融合模块和解码器处理后,得到对多模态样本图像对的语义分割结果;计算各类别中心,基于各类别中心、多模态样本图像对的语义分割结果和真实标签构建总体损失函数,以对多模态协同语义分割网络进行迭代训练至收敛,得到训练完成的网络;将待处理多模态图像对输入至训练完成的网络中,获得对待处理多模态图像对的语义分割结果。该方法有效提升了语义分割的效果。

    基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法

    公开(公告)号:CN116704171B

    公开(公告)日:2024-09-10

    申请号:CN202310233836.5

    申请日:2023-03-13

    Abstract: 本发明涉及一种基于多尺度局部描述符聚合网络的跨视角跨模态地理定位方法,属于定位技术领域。设计了一种跨视角地理定位网络模型,首先,坐标注意力对输入特征图行列加权优化特征细节,特征压缩模块负责压缩特征图尺寸,去除冗余的通道信息,并压缩编码长度,多尺度注意力融合模块则将两个不同尺度的特征利用注意力加权后融合,提升了多尺度融合效果。针对三元组损失训练中后期小批量内缺少有价值的难样本导致训练停滞的问题,设计了一个跨批量难样本挖掘方法,根据当前网络状态从队列中挖掘最难的负样本,扩大了难样本挖掘范围,并实时更新队列描述符,使得网络可以更加关注卫星图像和街景图中难以区分的局部特征细节,提升最终的检索精度。

    基于多关系基特征协同和投影融合的多模态语义分割方法

    公开(公告)号:CN118552738A

    公开(公告)日:2024-08-27

    申请号:CN202411025975.X

    申请日:2024-07-30

    Abstract: 本申请的实施例涉及深度学习技术领域,特别涉及一种基于多关系基特征协同和投影融合的多模态语义分割方法,包括:对多模态样本图像进行分割,得到多模态图像块;构建由两个编码器、融合模块和解码器构成的多模态协同语义分割网络;将多模态图像块分别输入至两个编码器中,经编码器、融合模块和解码器处理后,得到对多模态样本图像对的语义分割结果;计算各类别中心,基于各类别中心、多模态样本图像对的语义分割结果和真实标签构建总体损失函数,以对多模态协同语义分割网络进行迭代训练至收敛,得到训练完成的网络;将待处理多模态图像对输入至训练完成的网络中,获得对待处理多模态图像对的语义分割结果。该方法有效提升了语义分割的效果。

    一种基于边缘引导的从粗到细的异源图像匹配方法

    公开(公告)号:CN118135256A

    公开(公告)日:2024-06-04

    申请号:CN202311384718.0

    申请日:2023-10-24

    Abstract: 本公开实施例是关于一种基于边缘引导的从粗到细的异源图像匹配方法。本公开基于子空间投影的异源特征提取模块在处理多尺度特征空间信息的同时能有效加强特征的融合和跨模态信息的提取;全局信息整合模块建模相邻层之间的全局依赖性,在不同的区域之间进行多层次的交互以更详细地关注特定区域并在不同区域之间建立联系,从而生成更具辨别性和准确度的粗粒度特征;粗匹配模块使用双向softmax函数处理粗粒度的注意力特征,生成置信度矩阵;局部特征细化‑精细回归模块设计局部特征窗口,通过编码器提取细粒度特征,精细回归子模块对粗匹配的预测结果进行再调整,最终实现精确的异源图像特征匹配。该方法能够从粗到细地对齐异源图像,提高匹配精度。

    一种基于多模态图像的行人检测方法及系统

    公开(公告)号:CN116386081A

    公开(公告)日:2023-07-04

    申请号:CN202310181211.9

    申请日:2023-03-01

    Abstract: 本发明公开了一种基于多模态图像的行人检测方法及系统,属于行人检测技术领域,方法包括:获取采集的多模态图像的多个第一特征图,在可变形检测Transformer模型编码器中输入多个所述第一特征图,获得多个第二特征图;在可变形检测Transformer模型的解码器中输入多个所述第二特征图,输出第二关键点群检测特征,在目标检测头中输入所述第二关键点群检测特征,输出行人检测类别以及行人的边界框,构建模型,在构建模型中输入采集的所述多模态图像,输出行人及行人的边界框。该方法可以减少先验知识的使用,增加模型可解释性的同时,有效提高了检测性能,并且加快了模型的收敛速度。

Patent Agency Ranking