-
公开(公告)号:CN118552878A
公开(公告)日:2024-08-27
申请号:CN202410820785.0
申请日:2024-06-24
Applicant: 北京科技大学
IPC: G06V20/40 , G06V10/82 , G06F18/213 , G06F18/22 , G06N3/0895 , G06F123/02
Abstract: 本发明公开一种基于跨模态对齐的弱监督新型扒渣终点判断方法和系统,包括:接入当前扒渣现场摄像头,将实时视频流数据输入训练完成的视频数据处理器;视频数据处理器以每一当前帧为基准,将包括当前帧在内向前共若干帧数据进行切割打包,输出当前帧的实时视频片段,作为训练完成的跨模态特征提取器的视频模态输入,同时以当前钢种文本编号和“非终点”文本作为跨模态特征提取器的文本模态输入;跨模态特征提取器提取视频片段特征和文本特征,将提取的视频片段特征和文本特征输入特征比对决策模块进行特征比对,最终输出当前帧是否为对应当前钢种扒渣终点的判断结果。本发明可以对扒渣终点进行准确判断。
-
公开(公告)号:CN119478423B
公开(公告)日:2025-05-02
申请号:CN202510046546.9
申请日:2025-01-13
Applicant: 北京科技大学
IPC: G06V10/26 , G06V20/13 , G06V20/17 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0499 , G06N3/08
Abstract: 本发明提供一种基于开放域的跨模态遥感图像目标分割方法及装置,涉及遥感图像分割技术领域。该方法包括:对俯瞰遥感大图进行数据处理,获得文本引导遥感图像数据集;基于物体掩码标注获得前景标签数据以及背景标签数据;根据文本引导遥感图像数据集,通过开放域图像分割模型进行图像分割预测,获得分类预测结果;根据分类损失、图像特征重构损失和文本特征重构损失,对开放域图像分割模型进行参数优化,获得优化开放域图像分割模型;将待分割标注遥感图像输入优化开放域图像分割模型,获得遥感图像分割结果。本发明是一种开放性的分割类别灵活且分割目标精准的跨模态遥感图像目标分割方法。
-
公开(公告)号:CN118552878B
公开(公告)日:2025-04-18
申请号:CN202410820785.0
申请日:2024-06-24
Applicant: 北京科技大学
IPC: G06V20/40 , G06V10/82 , G06F18/213 , G06F18/22 , G06N3/0895 , G06F123/02
Abstract: 本发明公开一种基于跨模态对齐的弱监督扒渣终点判断方法和系统,包括:接入当前扒渣现场摄像头,将实时视频流数据输入训练完成的视频数据处理器;视频数据处理器以每一当前帧为基准,将包括当前帧在内向前共若干帧数据进行切割打包,输出当前帧的实时视频片段,作为训练完成的跨模态特征提取器的视频模态输入,同时以当前钢种文本编号和“非终点”文本作为跨模态特征提取器的文本模态输入;跨模态特征提取器提取视频片段特征和文本特征,将提取的视频片段特征和文本特征输入特征比对决策模块进行特征比对,最终输出当前帧是否为对应当前钢种扒渣终点的判断结果。本发明可以对扒渣终点进行准确判断。
-
公开(公告)号:CN119478423A
公开(公告)日:2025-02-18
申请号:CN202510046546.9
申请日:2025-01-13
Applicant: 北京科技大学
IPC: G06V10/26 , G06V20/13 , G06V20/17 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0455 , G06N3/0499 , G06N3/08
Abstract: 本发明提供一种基于开放域的跨模态遥感图像目标分割方法及装置,涉及遥感图像分割技术领域。该方法包括:对俯瞰遥感大图进行数据处理,获得文本引导遥感图像数据集;基于物体掩码标注获得前景标签数据以及背景标签数据;根据文本引导遥感图像数据集,通过开放域图像分割模型进行图像分割预测,获得分类预测结果;根据分类损失、图像特征重构损失和文本特征重构损失,对开放域图像分割模型进行参数优化,获得优化开放域图像分割模型;将待分割标注遥感图像输入优化开放域图像分割模型,获得遥感图像分割结果。本发明是一种开放性的分割类别灵活且分割目标精准的跨模态遥感图像目标分割方法。
-
-
-