公开(公告)号：CN115240075A

公开(公告)日：2022-10-25

申请号：CN202211154588.7

申请日：2022-09-22

Applicant: 山东大学 ,  智洋创新科技股份有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  浙江大华技术股份有限公司 ,  山东省计算中心(国家超级计算济南中心)

Inventor： 聂礼强 ,  甘甜 ,  赵砚青 ,  郑晓云 ,  赵振兵 ,  熊剑平 ,  杨飞 ,  董兴宁 ,  高赞

IPC: G06V20/10 ,  G06V10/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及输电线路巡检技术领域，具体涉及一种电力视觉多粒度预训练大模型的构建与训练方法，包括图像修复、图像分类、目标检测、图像描述四个粒度层级的视觉任务；采用多阶段的大模型训练方法，使得模型具有数据挖掘、增量训练和模型进化的功能；其中，第一阶段在海量公开数据集上训练，输出预训练大模型；第二阶段在大量无标签电力场景数据集上进行自监督训练，输出电力视觉多粒度预训练大模型；第三阶段利用大模型针对电力数据集进行隐患图像筛选，大大减轻了人工筛选代价，将隐患图像数据交由人工进行精细化标注，再次输入大模型进行迭代优化，使得视觉预训练大模型更加适配电力场景视觉任务需求。

公开(公告)号：CN115223049A

公开(公告)日：2022-10-21

申请号：CN202211140194.6

申请日：2022-09-20

Applicant: 山东大学 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  山东省计算中心(国家超级计算济南中心)

Inventor： 聂礼强 ,  甘甜 ,  关惟俐 ,  郑晓云 ,  翟永杰 ,  赵砚青 ,  罗旺 ,  陈雨涛 ,  高赞

IPC: G06V20/10 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明属于压缩技术领域，具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术。其包括以下步骤:电力场景任务抽象；双层知识蒸馏网络单元构建；教师模型修饰处理；主从教师监督框架：基于教师‑学生蒸馏网络，使用多个数据集训练不同的教师模型，包括与目标任务类似的场景数据集和实际落地场景的数据集，将这些数据集进行划分，训练多个教师模型，按照数据集与落地场景相似度分配指导权重，分为主教师模型和若干个从教师模型，从而对学生模型进行不同层面的知识引导，提高学生模型在复杂场景下的泛化能力；学生模型压缩感知训练。