一种基于任务条件适配器的多任务密集预测方法及系统

    公开(公告)号:CN119091282A

    公开(公告)日:2024-12-06

    申请号:CN202411174660.1

    申请日:2024-08-26

    Applicant: 浙江大学

    Inventor: 蒋丰泽 龚小谨

    Abstract: 本发明公开了一种基于任务条件适配器的多任务密集预测方法及系统。包括:利用结合适配器的特征提取骨干编码器提取输入图像的多尺度特征图;根据执行任务类型,利用结合适配器的任务解码器对多尺度特征图进行解码,获得解码结果;多个任务特定的输出头根据任务类型对解码结果处理后输出对应任务的预测结果。在编码阶段,冻结了参数的特征提取骨干编码器网络进行并行连接,节省了参数数量和计算资源。在解码阶段,本发明将所述任务条件适配器串行接入每个解码器层,从而实现更直接有效的任务特定特征调制。本发明可以实现与传统多任务密集预测方法相比,在具有相当甚至更佳的性能的情况下,具有更少的训练参数、更短的训练时间和更低的内存消耗。

    一种基于视觉语言多粒度蒸馏的可泛化行人重识别方法

    公开(公告)号:CN118506267A

    公开(公告)日:2024-08-16

    申请号:CN202410580756.1

    申请日:2024-05-11

    Applicant: 浙江大学

    Inventor: 李嘉琛 龚小谨

    Abstract: 本发明公开了一种基于视觉语言多粒度蒸馏的可泛化行人重识别方法。本发明建立在一个两阶段提示学习的流程上,整合图像和文本的全局/局部信息作为多粒度特征来解决泛化行人重识别任务。其中,本发明提出了一种基于注意力掩膜的多粒度可见性控制机制来进行多粒度信息的聚合,确保在信息在各个粒度级别上独立进行融合。与此同时,本发明提出了一种原型对比损失函数对学习过程进行监督优化,进一步提升了可泛化行人重识别的性能。大量实验结果证明,本发明在该领域多个公开数据集上均表现出了优越的性能,达到了当前最先进水平。

    一种基于在线校正的视觉增强激光里程计方法

    公开(公告)号:CN116147656A

    公开(公告)日:2023-05-23

    申请号:CN202310194675.3

    申请日:2023-02-28

    Applicant: 浙江大学

    Inventor: 李斌 龚小谨

    Abstract: 本发明公开了一种基于在线校正的视觉增强激光里程计方法。采集场景的彩色图像和三维点云,通过预处理生成顶点图、法向量图和顶点着色图构建视觉‑激光里程计数据集;将顶点图和顶点着色图输入视觉增强激光里程计网络,在训练的过程中促进视觉‑激光模态融合;训练结束后,将待测顶点图、顶点着色图序列输入到网络中预测帧间位姿,并通过在线校正模块迭代优化,将多个优化后帧间位姿累乘后得到全局位姿,实现视觉‑激光里程计。本发明方法利用激光主导融合策略充分发挥视觉‑激光模态的互补特性,且可以进行无监督训练,有较好的普适性和通用性,且优化难度更低,性能提升显著。

    一种基于对比学习的相机内有监督跨相机行人重识别方法

    公开(公告)号:CN112784772B

    公开(公告)日:2022-05-27

    申请号:CN202110111355.8

    申请日:2021-01-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对比学习的相机内有监督跨相机行人重识别方法。首先经过多相机拍摄采集,获得子图片集和待训练的行人图片集,独立地在每个相机下对图片所代表行人进行标注,不对跨相机行人进行标注。之后以每个相机下的每个行人作为一个节点构造行人图,基于行人图对跨相机行人进行关联,对待训练的行人图片集处理获得每个图片的伪标签;将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练,使用渐进对比损失函数进行监督;重复小批次训练;重复进行多次训练周期的训练,将多次训练周期的训练过程分为两个阶段,对参考网络模型进行迭代优化,训练结束后,对训练所得的基础网络模型进行跨相机行人重识别应用。本发明方法在只需同个相机内标注的半监督场景下,可达到与全监督场景相当的重识别准确率。

    用于同相机内有监督场景的多相机高精度行人重识别方法

    公开(公告)号:CN111723645A

    公开(公告)日:2020-09-29

    申请号:CN202010332673.2

    申请日:2020-04-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种用于同相机内有监督场景的多相机高精度行人重识别方法。在同一行人场景下采用多相机进行拍摄,选择基础网络模型并预训练后修改,采集获得待训练的行人图片集,建立针对各相机的行人记忆特征并初始化;基于已有的待训练的行人图片集,对基础网络模型进行同相机阶段的训练优化和监督;以训练后的行人记忆特征并结合采用聚类方法得到行人伪标签,用行人伪标签再对基础网络模型进行微调训练;对训练所得的基础网络模型进行跨相机行人重识别应用。本发明只需同个相机内图片标注场景下有效提高识别性能,达到与全监督场景下相当的重识别准确度,达到与全监督场景相当的行人重识别准确率。

    结合彩色和深度信息的图像显著性检测方法

    公开(公告)号:CN104574375A

    公开(公告)日:2015-04-29

    申请号:CN201410814816.8

    申请日:2014-12-23

    Applicant: 浙江大学

    Inventor: 任健强 龚小谨

    Abstract: 本发明公开了一种结合彩色和深度信息的图像显著性检测方法,该方法包括:对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图;融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图;对融合先验的对比度图进行全局优化:执行法向内积加权的网页排名算法,并选取置信度高的区域作为采样区域,设计基于马尔科夫随机场模型的图像恢复问题,求解得到最终的显著性检测图。本发明挖掘了深度和方向信息对显著性的影响,与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

    一种基于任意三面体的雷达-相机系统外部参数标定方法

    公开(公告)号:CN103049912A

    公开(公告)日:2013-04-17

    申请号:CN201210563695.5

    申请日:2012-12-21

    Applicant: 浙江大学

    Abstract: 本发明公开一种基于任意三面体的雷达-相机系统外部参数标定方法。利用自然环境中的三面体场景,仅需两帧数据即求解系统的外部参数。首先利用三面体规定世界坐标系,在雷达系统中对观察到的三面体进行平面拟合,得到各个平面的参数,并求得世界坐标系和雷达坐标系的转换关系以及雷达坐标系下两帧数据间的相对运动;在相机系统中,利用前后两帧提取的匹配特征点求解本质矩阵,然后分解出在相机坐标系下的相对运动,并利用雷达坐标系下的参数对相机坐标系下的平面参数进行求解,最后求解雷达-相机的外部参数,并利用两个坐标系下对应平面上点的共面性进行最终优化。本发明所要求的场景比较简单,兼具抗干扰性强、实验设备简单、灵活性较强的特点。

    一种端到端无监督激光里程计与语义分割结合的方法

    公开(公告)号:CN116342883A

    公开(公告)日:2023-06-27

    申请号:CN202310325830.0

    申请日:2023-03-30

    Applicant: 浙江大学

    Inventor: 叶海峰 龚小谨

    Abstract: 本发明公开了一种端到端无监督激光里程计与语义分割结合的方法。本发明将端到端无监督激光里程计与激光语义分割这两种任务在网络结构、网络特征和损失函数三个方面进行结合,能够在一个网络下同时预测位姿和语义分割结果,在节省了网络资源的同时,达到了相互促进的目的。本发明根据位姿和语义结果的重要性的不同,可以灵活的选择两种任务的训练顺序,从而做到两种结果的精度的权衡。

Patent Agency Ranking