-
公开(公告)号：CN114612666B
公开(公告)日：2025-04-15
申请号：CN202210272481.6
申请日：2022-03-18
Applicant: 浙江大学
IPC: G06V10/26 , G06V20/70 , G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0455 , G06N3/09
Abstract: 本发明公开了一种基于多模态对比学习的语义分割方法。构建训练集，建立由语义分割基础网络和对比学习模块构成的对比学习语义分割网络；语义分割基础网络包括RGB分支、深度分支、集成模块和对比学习模块，RGB分支和深度分支的分割结果通过集成模块结合得到最终分割结果并在训练阶段监督训练，RGB分支和深度分支的中间特征在训练阶段输入对比学习模块用跨模态对比损失和同模态对比损失进行优化。将待分割的RGB图像及对应的深度图像输入训练好的对比学习语义分割网络中的语义分割基础网络进行语义分割，获得语义分割结果。本发明能够更好地挖掘RGB图像和深度图像的共性，同时保留两类图像的特性，从而提升语义分割的精度。
-
公开(公告)号：CN114332099A
公开(公告)日：2022-04-12
申请号：CN202111626188.7
申请日：2021-12-28
Applicant: 浙江大学
IPC: G06T7/10
Abstract: 本发明公开了一种基于多模态对比学习的深度特权语义分割方法。采集RGB图像和深度图像并与类别共同构成训练集，建立均包含语义分割基础网络和投影模块的RGB分支和深度分支；用逐像素交叉熵损失监督训练两个语义分割基础网络；用跨模态对比损失优化由投影模块得到的嵌入特征，通过反向传播算法使得语义分割基础网络中的特征编码器能够挖掘RGB特征和深度特征的共性，一定程度上改善RGB图像中由于色彩纹理相近而难于分割的情况，从而提升语义分割的精度。本发明在推理阶段只需要场景的RGB图像而无需深度信息，由于在训练阶段引入了深度信息，有较好的分割能力和泛化性能。
-
公开(公告)号：CN114332099B
公开(公告)日：2025-02-07
申请号：CN202111626188.7
申请日：2021-12-28
Applicant: 浙江大学
IPC: G06T7/10
Abstract: 本发明公开了一种基于多模态对比学习的深度特权语义分割方法。采集RGB图像和深度图像并与类别共同构成训练集，建立均包含语义分割基础网络和投影模块的RGB分支和深度分支；用逐像素交叉熵损失监督训练两个语义分割基础网络；用跨模态对比损失优化由投影模块得到的嵌入特征，通过反向传播算法使得语义分割基础网络中的特征编码器能够挖掘RGB特征和深度特征的共性，一定程度上改善RGB图像中由于色彩纹理相近而难于分割的情况，从而提升语义分割的精度。本发明在推理阶段只需要场景的RGB图像而无需深度信息，由于在训练阶段引入了深度信息，有较好的分割能力和泛化性能。
-
公开(公告)号：CN114612666A
公开(公告)日：2022-06-10
申请号：CN202210272481.6
申请日：2022-03-18
Applicant: 浙江大学
Abstract: 本发明公开了一种基于多模态对比学习的语义分割方法。构建训练集，建立由语义分割基础网络和对比学习模块构成的对比学习语义分割网络；语义分割基础网络包括RGB分支、深度分支、集成模块和对比学习模块，RGB分支和深度分支的分割结果通过集成模块结合得到最终分割结果并在训练阶段监督训练，RGB分支和深度分支的中间特征在训练阶段输入对比学习模块用跨模态对比损失和同模态对比损失进行优化。将待分割的RGB图像及对应的深度图像输入训练好的对比学习语义分割网络中的语义分割基础网络进行语义分割，获得语义分割结果。本发明能够更好地挖掘RGB图像和深度图像的共性，同时保留两类图像的特性，从而提升语义分割的精度。
-
-
-
Search Results
4
records
(took 0.012 seconds)
