公开(公告)号：CN120029600A

公开(公告)日：2025-05-23

申请号：CN202411961870.5

申请日：2024-12-30

Applicant: 华南理工大学

Inventor： 蔡毅 ,  曹柳文 ,  王梦真 ,  黄思宏 ,  梁达勇

IPC: G06F8/30 ,  G06N3/0455 ,  G06N3/088

Abstract: 本发明公开了一种基于Adapter网络和对比学习的代码预训练方法，该方法包括下述步骤：构建基于Adapter网络的代码预训练模型，获取代码语料中训练实例xd，训练基于Adapter网络的代码预训练模型，得到带有不同编程语言知识的Adapter网络；构建低资源编程语言模型；获取代码语料中的实例xc，分别构建对应的正例和负例，采用分类代价和对比学习代价联合训练低资源编程语言模型；训练得到最终的代码预训练模型，基于最终的代码预训练模型输出代码预训练结果。本发明能够在预训练多种编程语言的代码语料的同时减少已有知识的灾难性遗忘的问题，并支持新编程语言的训练，并且能够增强低资源编程语言下的模型能力。

公开(公告)号：CN119475263A

公开(公告)日：2025-02-18

申请号：CN202411555649.X

申请日：2024-11-04

Applicant: 华南理工大学

Inventor： 李萍 ,  王振宇 ,  王梦真 ,  余曼

IPC: G06F18/26 ,  G06F18/15 ,  G06N3/042 ,  G06N3/04 ,  G06N3/0442 ,  G06N3/088

Abstract: 本发明公开了一种基于图对比学习的电力系统状态估计方法，包括以下步骤：构建电力系统状态估计的图序列数据；构建基于图对比学习的电力系统状态估计模型，将所述图序列数据基于图对比学习的电力系统状态估计模型中；将节点特征序列和掩蔽的边特征输入到结合自注意力机制和残差块的动态边缘卷积神经网络以及带有门控机制的动态传播策略的图卷积神经网络的混合编码器来综合处理节点和边的特征；通过图对比学习框架的模型参数的更新机制和采样对称化训练策略；利用支路相角差计算节点电压相角，输出状态估计结果。本发明通过结合图对比学习与深度神经网络技术，可以有效地学习电力系统数据的内在结构和模式，提高识别和滤除异常数据的能力。