公开(公告)号：CN118643470B

公开(公告)日：2024-11-26

申请号：CN202411120027.4

申请日：2024-08-15

Applicant: 国网四川省电力公司电力科学研究院

Inventor： 张凌浩 ,  邝俊威 ,  向思屿 ,  李盛杰 ,  滕予非 ,  常政威 ,  邓创 ,  李亚强 ,  庞博 ,  刘昶 ,  王慧斌 ,  汪洋 ,  文祥 ,  温崇

IPC: G06F18/25 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种电力垂直领域的多模态大模型训练优化方法及装置，涉及电力行业垂域大模型训练技术领域。本发明将剪枝方法注入多模态大模型完成电力垂直领域业务场景的训练，解决大模型训练时权重参数量大、显存要求高、训练时间长和计算资源要求高等问题，通过低秩微调方法对剪枝后的多模态大模型进行微调训练，对剪枝导致的模型精度损失进行补偿，既可以压缩模型大小，使其更适合训练和部署，又能保持大模型强大的泛化能力，得到易于部署的电力领域多模态大模型。

公开(公告)号：CN118862653A

公开(公告)日：2024-10-29

申请号：CN202410885257.3

申请日：2024-07-03

Applicant: 国网四川省电力公司电力科学研究院

Inventor： 张凌浩 ,  邝俊威 ,  向思屿 ,  滕予非 ,  常政威 ,  刘洪利 ,  李旭旭 ,  魏阳 ,  庞博 ,  刘昶 ,  毛洋 ,  杜佩珂 ,  刘松嘉 ,  李盛杰

IPC: G06F30/27 ,  G06N3/096 ,  G06N5/022

Abstract: 本发明公开了一种基于电力缺陷多模态模型的微调方法、设备和介质，通过获取基于专家评分的微调数据集，微调数据集的类型分布动态构建训练集，构建教师‑学生模型，采用训练集对教师‑学生模型进行训练，采用KL散度对训练后的教师‑学生模型进行模型拟合，得到拟合模型，根据微调数据集和拟合模型，基于InstructBLIP基础架构建立多模态微调模型，对多模态微调模型进行训练和优化，得到优化后的多模态微调模型进行缺陷微调。通过动态构建具有专家知识的训练集，解决了新增数据集存在的数据分布不均衡问题，从而高效率的使用新增的数据集，保证微调后的多模态模型具有高泛化能力和高稳定性。

公开(公告)号：CN119669873A

公开(公告)日：2025-03-21

申请号：CN202510198682.X

申请日：2025-02-24

Applicant: 国网四川省电力公司电力科学研究院

Inventor： 滕予非 ,  张凌浩 ,  邝俊威 ,  向思屿 ,  刘洪利 ,  魏阳 ,  李旭旭 ,  李林 ,  李盛杰 ,  刘昶 ,  毛杨 ,  杜佩珂

IPC: G06F18/241 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/092 ,  G06Q50/06

Abstract: 本发明公开了一种基于边云协同的电力设备缺陷识别方法及系统，涉及电力设备缺陷识别技术领域，方法包括：数据采集装置实时采集电力设备的监测数据，将监测数据发送给监测区域内的边缘计算网关；边缘计算网关接收监测数据，对监测数据进行预处理，得到预处理后的监测数据并上传至云数据中心；云数据中心接收预处理后的监测数据，采用多模态缺陷识别模型对接收的数据进行电力设备缺陷识别，得到实时缺陷识别结果，采用检修策略生成模型对实时缺陷识别结果进行处理，得到实时检修策略，将实时检修策略发送至边缘计算网关。该方法采用边云协同机制，及时、高效地对电力设备的监测数据进行电力设备缺陷识别，并对缺陷识别结果分析得到对应检修策略。

公开(公告)号：CN119399690A

公开(公告)日：2025-02-07

申请号：CN202411454127.0

申请日：2024-10-17

Applicant: 中国电力科学研究院有限公司 ,  国网四川省电力公司电力科学研究院 ,  国家电网有限公司

Inventor： 张屹 ,  杨昇霖 ,  常政威 ,  张国梁 ,  杜泽旭 ,  魏玮 ,  张凌浩 ,  邝俊威 ,  滕予非 ,  向思屿 ,  陈在新 ,  吴光灿 ,  刘昶 ,  周剑 ,  李盛杰

IPC: G06V20/52 ,  G06V10/80 ,  G06V10/26 ,  G06V10/774 ,  G06V10/764 ,  G06V40/10

Abstract: 本发明属于机器识别领域，公开了一种作业人员跨镜头跟踪方法、系统、设备及存储介质，包括获取作业人员的描述文本以及各镜头作业现场图像；根据作业人员的描述文本以及各镜头作业现场图像，通过预训练的作业人员跨镜头跟踪模型，得到各镜头作业现场图像的作业人员跟踪结果，其中，作业人员跨镜头跟踪模型包括文本特征提取模块、图像特征提取模块、特征融合模块以及预测模块。针对现有的人员跨镜头识别及跟踪技术没有特定针对作业人员穿着相似或相同的情形的设计，导致并不能准确识别的问题，本发明识别方法从图像特征和文本特征两个方面入手以提取到更有判别力的特征，能够在作业人员穿着统一的情形下，准确完成作业人员跨镜头跟踪及跟踪任务。

公开(公告)号：CN118643470A

公开(公告)日：2024-09-13

申请号：CN202411120027.4

申请日：2024-08-15

Applicant: 国网四川省电力公司电力科学研究院

Inventor： 张凌浩 ,  邝俊威 ,  向思屿 ,  李盛杰 ,  滕予非 ,  常政威 ,  邓创 ,  李亚强 ,  庞博 ,  刘昶 ,  王慧斌 ,  汪洋 ,  文祥 ,  温崇

IPC: G06F18/25 ,  G06N3/0455 ,  G06N3/082 ,  G06N3/084

Abstract: 本发明公开了一种电力垂直领域的多模态大模型训练优化方法及装置，涉及电力行业垂域大模型训练技术领域。本发明将剪枝方法注入多模态大模型完成电力垂直领域业务场景的训练，解决大模型训练时权重参数量大、显存要求高、训练时间长和计算资源要求高等问题，通过低秩微调方法对剪枝后的多模态大模型进行微调训练，对剪枝导致的模型精度损失进行补偿，既可以压缩模型大小，使其更适合训练和部署，又能保持大模型强大的泛化能力，得到易于部署的电力领域多模态大模型。