公开(公告)号：CN119762891A

公开(公告)日：2025-04-04

申请号：CN202411973769.1

申请日：2024-12-30

Applicant: 哈尔滨工业大学

Inventor： 刘铭 ,  李沅泽 ,  苑世豪 ,  王浩霖 ,  李启璋 ,  闫子飞 ,  徐晨 ,  石光明 ,  左旺孟

IPC: G06V10/764 ,  G06V10/25 ,  G06V10/44 ,  G06N5/022 ,  G06N3/0499 ,  G06N3/09

Abstract: 基于多模态大模型的工业图像异常检测方法，属于工业异常检测领域，本发明为解决多模态大模型进行工业异常检测时存在可扩展性和适应性差、在图像中识别微小异常能力弱的问题。本发明包括步骤1、基于工业异常检测数据集构建知识理解训练任务，步骤2、利用专家引导的图像采样模块预测异常图并提取N个感兴趣区域，将N个感兴趣区域连同输入的原图一起输入视觉编码器中，以提取视觉特征，并输出大语言模型能识别的视觉编码；步骤3、构建视觉语言对齐的工业异常检测指令集；步骤4、利用知识理解训练任务和工业异常检测指令集对多模态大模型进行微调；步骤5、利用训练好的多模态大模型对工业产品进行异常检测。