基于中文提示的代码生成模型训练方法

    公开(公告)号:CN118860352A

    公开(公告)日:2024-10-29

    申请号:CN202410894400.5

    申请日:2024-07-04

    发明人: 车海莺 杨婧

    摘要: 本发明涉及代码生成领域,具体为一种基于中文提示的代码生成模型训练方法,包括:利用人工智能AI生成中文提示代码数据集;由开源平台获取英文提示代码数据集,并对英文提示代码数据集中的数据进行清洗、去重操作;基于中文提示代码数据集和英文提示代码数据集生成训练数据集;采用QLoRA高效微调方法基于训练数据集对代码生成基模型进行微调,优化代码生成基模型在中文编程场景下的代码生成能力;利用训练数据集对微调后的代码基模型进行训练。解决当前代码生成领域中的中文提示代码数据集稀缺的难题,通过中文提示代码数据集提升代码基模型对中文提示理解能力,同时在不损害原模型代码生成准确率的基础上,还实现了准确率的进一步提升。

    基于反馈信息的代码生成模型训练方法

    公开(公告)号:CN118860869A

    公开(公告)日:2024-10-29

    申请号:CN202410894275.8

    申请日:2024-07-04

    发明人: 车海莺 杨婧

    摘要: 本发明涉及代码生成领域,具体为一种基于反馈信息的代码生成模型训练方法,应用于CodeFB框架,CodeFB框架包括第一代码大模型、第二代码大模型、编译器以及在线缓冲区,其中第一代码大模型和第二代码大模型共享权重;从单元测试反馈中提取了多粒度的反馈信息用于训练,即“粗粒度反馈”、“细粒度反馈”和“自适应反馈”;粗粒度反馈信息主要是对程序中出错的代码进行全局惩罚;细粒度反馈则能够精确识别并惩罚程序中代码特定的错误部分;而自适应反馈则根据程序通过的测试用例比例动态调整奖励,从而更精准地指导模型的训练过程,提升代码生成的准确性和效率。