公开(公告)号：CN118196726A

公开(公告)日：2024-06-14

申请号：CN202410349437.X

申请日：2024-03-26

Applicant: 东南大学

Inventor： 蒲自源 ,  柳思文 ,  庄一帆 ,  王翔 ,  王健 ,  曾冰

IPC: G06V20/54 ,  G06V20/70 ,  G06V10/25 ,  G06V10/26 ,  G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06F40/30 ,  G06F40/247 ,  G06F18/22 ,  G06N3/0455 ,  G06N3/096

Abstract: 本发明涉及一种基于开放词汇检测的高速公路抛洒物检测与分类方法，包括以下步骤：根据常见抛洒物类型，构建针对高速公路抛洒物的开放词汇列表；对图像进行分割处理，根据计算的掩码大小，判断并获取抛洒物的潜在目标区域，提取过程中，基于SAM模型，对包含抛洒物的图像进行处理，提取所有可能包含抛洒物的目标区域；通过对比性语言‑图像预训练模型，匹配潜在目标区域的视觉嵌入与开放词汇列表的文本嵌入，通过计算置信度指标，从潜在目标区域中精准提取出抛洒物目标，并通过计算相似度指标，对提取后的每个抛洒物进行分类。与现有技术相比，本发明能显著降低对数据量的需求，具有更好的泛化能力及鲁棒性。