发明公开
- 专利标题: 一种基于微调大模型的溢油检测方法、系统及设备
-
申请号: CN202410554630.7申请日: 2024-05-07
-
公开(公告)号: CN118506150A公开(公告)日: 2024-08-16
- 发明人: 陆军 , 俞扬信 , 徐凯 , 周洋 , 王威 , 任珂 , 卢伟彬 , 罗晨风
- 申请人: 淮阴工学院
- 申请人地址: 江苏省淮安市经济技术开发区枚乘东路1号
- 专利权人: 淮阴工学院
- 当前专利权人: 淮阴工学院
- 当前专利权人地址: 江苏省淮安市经济技术开发区枚乘东路1号
- 代理机构: 南京苏高专利商标事务所
- 代理商 柏尚春
- 主分类号: G06V10/82
- IPC分类号: G06V10/82 ; G06V10/774 ; G06N3/0455 ; G06N3/08 ; G06V20/10 ; G01N21/25 ; G01N21/84
摘要:
本发明公开了一种基于微调大模型的溢油检测方法、系统及设备,其种方法包括:采集并保存溢油图像数据;对溢油图像数据根据溢油级别进行人工标注,并制作成数据集;将数据集按照一定比例分割为训练集和测试集并且对溢油图像进行预处理;构建基于Vision Transformer和LoRA的溢油检测模型;包括:构建基于Vision Transformers的模型,通过Vision Transformers的多头自注意力机制,捕捉图像中的特征;通过LoRA技术,冻结Vision Transformers的权重,将可训练的秩分解矩阵注入到Vision Transformers架构的每一层,在每个Vision Transformers块中注入可训练层,减少需要训练的参数数量;通过调整参数在训练集上迭代训练溢油检测模型,得到最优溢油检测模型,对溢油进行检测;本发明通过LoRA进行微调的效果与全模型微调相同,速度更快,计算需求更少,同时保持或提升模型在溢油检测任务上的性能。