一种基于双模态交互和状态反馈的快速实时视频目标分割方法

    公开(公告)号:CN113807322B

    公开(公告)日:2025-04-18

    申请号:CN202111233607.0

    申请日:2021-10-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于双模态交互和状态反馈的快速实时视频目标分割方法,包括以下步骤:步骤一、模型训练,利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于双模态交互和状态反馈的快速实时视频目标分割方法的网络权重;步骤二、模型推断,利用训练阶段获得的网络权重,在新的视频序列中分割第一帧给定的目标。通过双模态特征交互,加强目标外观表示的学习,减弱背景中外形特征相似、颜色相似的目标的干扰,使系统能够在复杂的环境中准确地分割目标;以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征,使系统能够有效利用历史帧中的目标信息,并具有较高的推断速度和内存利用效率。

    一种基于实例中心编码的点云全景分割系统及方法

    公开(公告)号:CN116993979A

    公开(公告)日:2023-11-03

    申请号:CN202310924673.5

    申请日:2023-07-26

    Applicant: 浙江大学

    Inventor: 刘勇 梅剑标

    Abstract: 本发明提出一种基于实例中心编码的点云全景分割系统,包括:骨干网络,用于提取点云数据的点云特征;语义预测分支,用于语义预测;实例中心提议网络,基于点云数据和点云特征计算生成3D实例中心和实例中心特征编码;Transformer模块,收集实例中心点周围和实例中心点之间的上下文信息,输出增强后的实例中心编码特征;动态卷积网络,用于生成实例掩码预测结果;掩码融合模块,用于融合语义预测结果和实例掩码预测结果,得到最终的点云全景分割结果;本发明提出了一种新的无检测和无聚类的LiDAR全景分割系统,通过中心来定位和分割实例,蕴含了位置和实例特征,可以用于表示并区分不同实例,用于实际全景分割时,性能优异。

    基于掩码特征聚合和目标增强型的视频目标分割方法

    公开(公告)号:CN115035437A

    公开(公告)日:2022-09-09

    申请号:CN202210569043.6

    申请日:2022-05-24

    Applicant: 浙江大学

    Abstract: 本发明涉及计算机视觉领域,公开了一种基于掩码特征聚合和目标增强型的视频目标分割方法,包括以下步骤:S1、设计并得到一种优化的多尺度掩码特征聚合单元;S2、利用目标增强型注意力机构得到目标增强型特征匹配单元;S3、利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于多尺度掩码特征聚合和目标增强型的视频目标分割方法;S4、利用所述基于多尺度掩码特征聚合和目标增强型的视频目标分割方法对新的视频序列分割给定目标。本发明能够充分利用目标掩码中的边缘轮廓信息,加强目标外观表示的学习,使得分割结果具有更好的轮廓准确度,能够在复杂的环境中准确地分割目标。

    一种基于解耦动态卷积核的雷达全景分割方法

    公开(公告)号:CN116704504A

    公开(公告)日:2023-09-05

    申请号:CN202310496335.6

    申请日:2023-05-05

    Applicant: 浙江大学

    Inventor: 刘勇 杨煜 梅剑标

    Abstract: 本发明涉及3D视觉技术领域,提出了一种基于解耦动态卷积核的雷达全景分割方法,主要包括构建点云特征提取器、构建动态卷积核生成模块、构建动态卷积核解码模块、模型训练和模型推断五个阶段的步骤实现,本发明提出一种新型的Panoptic DKNet网络模型,以在具有解耦动态卷积核的统一工作流中实现雷达点云全景分割,Panoptic DKNet将实例目标和背景类别的动态核进行解耦,以促进各自的学习过程,同时对分类和分割实现解耦策略,以避免不同类别之间的相互竞争。本发明所设计的算法在SemanticKITTI基准数据集上表现出较好的全景分割性能,且对环境中紧邻的小目标点云、分散的大目标点云具有很好的分割鲁棒性。

    基于掩码特征聚合和目标增强型的视频目标分割方法

    公开(公告)号:CN115035437B

    公开(公告)日:2025-05-16

    申请号:CN202210569043.6

    申请日:2022-05-24

    Applicant: 浙江大学

    Abstract: 本发明涉及计算机视觉领域,公开了一种基于掩码特征聚合和目标增强型的视频目标分割方法,包括以下步骤:S1、设计并得到一种优化的多尺度掩码特征聚合单元;S2、利用目标增强型注意力机构得到目标增强型特征匹配单元;S3、利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于多尺度掩码特征聚合和目标增强型的视频目标分割方法;S4、利用所述基于多尺度掩码特征聚合和目标增强型的视频目标分割方法对新的视频序列分割给定目标。本发明能够充分利用目标掩码中的边缘轮廓信息,加强目标外观表示的学习,使得分割结果具有更好的轮廓准确度,能够在复杂的环境中准确地分割目标。

    一种基于解耦动态卷积核的雷达全景分割方法

    公开(公告)号:CN116704504B

    公开(公告)日:2025-05-13

    申请号:CN202310496335.6

    申请日:2023-05-05

    Applicant: 浙江大学

    Inventor: 刘勇 杨煜 梅剑标

    Abstract: 本发明涉及3D视觉技术领域,提出了一种基于解耦动态卷积核的雷达全景分割方法,主要包括构建点云特征提取器、构建动态卷积核生成模块、构建动态卷积核解码模块、模型训练和模型推断五个阶段的步骤实现,本发明提出一种新型的Panoptic DKNet网络模型,以在具有解耦动态卷积核的统一工作流中实现雷达点云全景分割,Panoptic DKNet将实例目标和背景类别的动态核进行解耦,以促进各自的学习过程,同时对分类和分割实现解耦策略,以避免不同类别之间的相互竞争。本发明所设计的算法在SemanticKITTI基准数据集上表现出较好的全景分割性能,且对环境中紧邻的小目标点云、分散的大目标点云具有很好的分割鲁棒性。

    一种基于稀疏实例提议和聚合的点云全景分割方法

    公开(公告)号:CN116433947A

    公开(公告)日:2023-07-14

    申请号:CN202310447674.5

    申请日:2023-04-24

    Applicant: 浙江大学

    Inventor: 刘勇 梅剑标

    Abstract: 本发明涉及3D视觉技术领域,提出了一种基于稀疏实例提议和聚合的点云全景分割方法,基于“采样‑移动‑聚类”方案设计一种高效准确且非学习的稀疏实例提议模块,消除了对偏移分支的依赖,并加速了聚类过程,且可以轻松地扩展到其他骨干网络和数据集中,并以即插即用的方式使用;此外基于KNN‑Transformer设计一种实例聚合模块对实例提议模块产生的潜在的碎片化的实例进行聚合,提高其在大目标上的性能,输出更加精确完整的实例分割结果。本发明提出的方法(PANet)能够准确地对输入的点云进行全景分割,且对实际3D环境中目标遮挡,快速移动等问题具有很好的鲁棒性。

    一种基于点云时空记忆网络的4D目标分割方法

    公开(公告)号:CN115471651A

    公开(公告)日:2022-12-13

    申请号:CN202211056641.X

    申请日:2022-08-31

    Applicant: 浙江大学

    Abstract: 本发明涉及计算机视觉领域,公开了一种基于点云时空记忆网络的4D目标分割方法,包括以下步骤:S1、构建4D目标分割任务数据集;S2、基于点云时空记忆网络并结合非局部/局部注意力机制构建4D目标分割网络;S3、对所述4D目标分割网络模型进行训练,通过降低网络损失函数优化网络参数直至网络收敛,获得基于点云时空记忆网络的4D目标分割方法;S4、利用所述基于点云时空记忆网络的4D目标分割方法对新的LIDAR视频序列分割给定目标。本发明提供了新的数据集,并结合点云时空记忆网络和注意力机制设计了快速稳定的4D目标分割算法,所设计的算法对实际3D环境中目标遮挡,快速移动等问题具有很好的鲁棒性。

    一种基于双模态交互和状态反馈的快速实时视频目标分割方法

    公开(公告)号:CN113807322A

    公开(公告)日:2021-12-17

    申请号:CN202111233607.0

    申请日:2021-10-22

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于双模态交互和状态反馈的快速实时视频目标分割方法,包括以下步骤:步骤一、模型训练,利用服务器对网络模型进行训练,通过降低网络损失函数优化网络参数,直至网络收敛,获得基于双模态交互和状态反馈的快速实时视频目标分割方法的网络权重;步骤二、模型推断,利用训练阶段获得的网络权重,在新的视频序列中分割第一帧给定的目标。通过双模态特征交互,加强目标外观表示的学习,减弱背景中外形特征相似、颜色相似的目标的干扰,使系统能够在复杂的环境中准确地分割目标;以及通过状态反馈固定存储器有效容量并自适应地更新存储器中的特征,使系统能够有效利用历史帧中的目标信息,并具有较高的推断速度和内存利用效率。

Patent Agency Ranking