一种模型训练数据生成方法、装置及计算设备集群

    公开(公告)号:CN119808939A

    公开(公告)日:2025-04-11

    申请号:CN202411822919.9

    申请日:2024-12-11

    Abstract: 一种模型训练数据生成方法,包括:获取用户输入的第一数据,第一数据为与用户所需推理场景相关的词元分布或文本;基于基础模型的语料库中的词元在第一数据中的分布,构建词元池,词元池含语料库中的词元,词元池中的每个词元的数量均大于或等于预设数量,基础模型与推理场景相关;基于词元池和基础模型,得到训练数据,训练数据包含样本和标签,样本为n+1个词元和n+1个词元中前n个词元的隐藏状态,标签为n+1个词元中第n+1个词元的隐藏状态,n+1个词元是从词元池中选取的,n+1个词元的隐藏状态是通过基础模型对n+1个词元做推理得到。该方法可有效避免使用真实语料所可能导致的隐私泄露问题,同时可避免真实语料库过小而造成的训练数据量过少的问题。

Patent Agency Ranking