一种基于跨模态知识蒸馏的深度特权视觉里程计方法

    公开(公告)号:CN114743105A

    公开(公告)日:2022-07-12

    申请号:CN202210413969.6

    申请日:2022-04-14

    Applicant: 浙江大学

    Inventor: 李斌 龚小谨

    Abstract: 本发明公开了一种基于跨模态知识蒸馏的深度特权单目视觉里程计方法。采集场景的彩色图像和三维点云构建视觉‑激光里程计数据集;输入视觉‑激光里程计网络和单目视觉里程计网络中分别训练;通过跨模态知识蒸馏模块来利用视觉‑激光里程计网络对单目视觉里程计网络再次训练;训练结束后,对待测的连续时刻的彩色图像序列输入训练后的单目视觉里程计网络,输出得到全局位姿,实现了单目视觉里程计的处理。本发明方法利用了更可靠的深度特权信息,对弱纹理区域和光照变化等环境因素有更好的鲁棒性,取得了显著的性能提升,有较好的通用性和普适性。

    基于生成对抗网络的行人重识别数据集姿态数据增广方法

    公开(公告)号:CN112613411B

    公开(公告)日:2022-05-27

    申请号:CN202011559996.1

    申请日:2020-12-25

    Applicant: 浙江大学

    Inventor: 陈浩锟 龚小谨

    Abstract: 本发明公开了一种基于生成对抗网络的行人重识别数据集姿态数据增广方法。图像采集并标注获得训练集,建立包含生成对抗网络和姿态分类器的网络;训练所构建的生成对抗网络和姿态分类器;构建虚拟数据集,构建编码器,使用虚拟数据集训练所构建的编码器;将虚拟数据集经线性SVM算法处理后获得超平面的法向量;训练结束后,对于任意需要进行姿态数据增广的目标场景的待测图片,利用编码器、生成对抗网络和法向量共同进行姿态数据的增广。本发明无需行人图片的类别信息,只需要行人图像的姿态信息,调整图中人物的姿态,在行人重识别数据集中行人类别缺失的情况下进行姿态变换,有着较好的数据增广能力。

    一种基于多模态对比学习的深度特权语义分割方法

    公开(公告)号:CN114332099A

    公开(公告)日:2022-04-12

    申请号:CN202111626188.7

    申请日:2021-12-28

    Applicant: 浙江大学

    Inventor: 柯丹宁 龚小谨

    Abstract: 本发明公开了一种基于多模态对比学习的深度特权语义分割方法。采集RGB图像和深度图像并与类别共同构成训练集,建立均包含语义分割基础网络和投影模块的RGB分支和深度分支;用逐像素交叉熵损失监督训练两个语义分割基础网络;用跨模态对比损失优化由投影模块得到的嵌入特征,通过反向传播算法使得语义分割基础网络中的特征编码器能够挖掘RGB特征和深度特征的共性,一定程度上改善RGB图像中由于色彩纹理相近而难于分割的情况,从而提升语义分割的精度。本发明在推理阶段只需要场景的RGB图像而无需深度信息,由于在训练阶段引入了深度信息,有较好的分割能力和泛化性能。

    一种基于对比学习的相机内有监督跨相机行人重识别方法

    公开(公告)号:CN112784772A

    公开(公告)日:2021-05-11

    申请号:CN202110111355.8

    申请日:2021-01-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于对比学习的相机内有监督跨相机行人重识别方法。首先经过多相机拍摄采集,获得子图片集和待训练的行人图片集,独立地在每个相机下对图片所代表行人进行标注,不对跨相机行人进行标注。之后以每个相机下的每个行人作为一个节点构造行人图,基于行人图对跨相机行人进行关联,对待训练的行人图片集处理获得每个图片的伪标签;将待训练的行人图片集以小批次训练方式输入到参考网络模型中进行训练,使用渐进对比损失函数进行监督;重复小批次训练;重复进行多次训练周期的训练,将多次训练周期的训练过程分为两个阶段,对参考网络模型进行迭代优化,训练结束后,对训练所得的基础网络模型进行跨相机行人重识别应用。本发明方法在只需同个相机内标注的半监督场景下,可达到与全监督场景相当的重识别准确率。

    基于生成对抗网络的行人重识别数据集姿态数据增广方法

    公开(公告)号:CN112613411A

    公开(公告)日:2021-04-06

    申请号:CN202011559996.1

    申请日:2020-12-25

    Applicant: 浙江大学

    Inventor: 陈浩锟 龚小谨

    Abstract: 本发明公开了一种基于生成对抗网络的行人重识别数据集姿态数据增广方法。图像采集并标注获得训练集,建立包含生成对抗网络和姿态分类器的网络;训练所构建的生成对抗网络和姿态分类器;构建虚拟数据集,构建编码器,使用虚拟数据集训练所构建的编码器;将虚拟数据集经线性SVM算法处理后获得超平面的法向量;训练结束后,对于任意需要进行姿态数据增广的目标场景的待测图片,利用编码器、生成对抗网络和法向量共同进行姿态数据的增广。本发明无需行人图片的类别信息,只需要行人图像的姿态信息,调整图中人物的姿态,在行人重识别数据集中行人类别缺失的情况下进行姿态变换,有着较好的数据增广能力。

    一种基于显著性指导的端到端的弱监督目标检测方法

    公开(公告)号:CN107203781B

    公开(公告)日:2020-07-28

    申请号:CN201710364115.2

    申请日:2017-05-22

    Applicant: 浙江大学

    Inventor: 赖百胜 龚小谨

    Abstract: 本发明公开了一种基于显著性指导的端到端的弱监督目标检测方法。此方法构造一个深度神经网络,在弱监督分类器网络的基础上增加目标框的显著性子网络;同时利用弱监督方法训练得到的类别相关的显著图,用上下文差异的准则选取类别相关的种子目标区域,用来监督训练显著性子网络和分类器子网络。本方法与以往的弱监督目标检测方法相比,得到了更好的性能,同时只需要图像级标签进行训练,减少了标注训练数据的工作量。

    一种基于深度神经网络的电力设备红外图像语义分割方法

    公开(公告)号:CN107564025B

    公开(公告)日:2020-05-29

    申请号:CN201710676666.2

    申请日:2017-08-09

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于深度神经网络的电力设备红外图像语义分割方法。采集电力设备红外图像,构成图像语义分割数据集并分为多部分,每个部分的图像数量相同,从图像语义分割数据集中选取一部分作增强预处理;处理获得语义分割结果图;比较后用交叉熵计算预测误差,然后使用随机梯度下降算法在基于DeepLab的深度卷积网络中对预测误差进行反向传播,更新基于DeepLab的深度卷积网络的网络参数值,迭代更新训练获得最终语义分割结果图,最后选择使用全连接的条件随机场进行后处理优化。本发明充分利用大量数据进行训练和学习出图像的本质特征,与以往的电力设备检测与分割方法相比,取得了更好的分割性能与结果。

    基于混合图模型的图像序列类别标注方法

    公开(公告)号:CN104881681B

    公开(公告)日:2018-08-14

    申请号:CN201510268996.9

    申请日:2015-05-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于混合图模型的图像序列类别标注方法,包括:对图像序列进行超像素分割,对超像素进行特征描述;对连续两帧图像进行帧间超像素的最近邻匹配;基于单帧图像超像素间空间域的邻接关系和多帧图像超像素间时间域的匹配关系,使用混合图模型对图像序列类别标注问题进行全局优化建模;该全局优化问题使用线性方法求解,得到连续多帧图像超像素的类别标签;本发明构建的混合图模型与以往图模型相比,既可以描述单帧图像中超像素之间的一阶的、对称的关系,也可以描述连续两帧图像超像素之间的高阶的、非对称的关系,并通过线性方法求解,有效地赋予了图像序列每个超像素一个时域上一致性更好、准确率更高的类别标签。

    为风景照配上符合其意境的诗句的方法

    公开(公告)号:CN104951554A

    公开(公告)日:2015-09-30

    申请号:CN201510376739.7

    申请日:2015-06-29

    Applicant: 浙江大学

    Abstract: 本发明公开了一种为风景照配上符合其意境的诗句的方法。该方法包括:根据识别物体的差异,把用户输入的同一张风景照分别输入到三种不同的分类器中;紧接着得到一组标签,并且根据分类结果的置信度对这些标签进行排序,排序靠前的标签,在搜索诗句时会优先满足;然后每个标签在映射表中查找关键字,接着利用关键字在搜索引擎中进行诗句搜索;最后对搜索到的诗句进行标签过滤,把意境相反的诗句给过滤掉,再用LDA进行主题加权,把主题最符合风景照意境的诗句输出到图像上。本发明结合了图像处理和自然语言处理这两个领域的先进技术,与以往的方法相比能够得到更符合风景照意境的诗句。

Patent Agency Ranking