预训练模型的模型训练方法和装置、存储介质及电子设备

    公开(公告)号:CN117476113A

    公开(公告)日:2024-01-30

    申请号:CN202311501603.5

    申请日:2023-11-10

    Abstract: 本发明提供了一种预训练模型的模型训练方法和装置、存储介质及电子设备,其中,该方法包括:获取训练掩码序列集,其中,训练掩码序列集中的每个训练掩码序列是对一个抗体序列中的部分序列进行掩码处理得到的序列,在每个训练掩码序列中,重链序列的开始位置插入有重链符号,轻链序列的开始位置插入有轻链符号;依次将每个训练掩码序列作为输入序列对待训练的预训练模型执行多轮训练,得到训练好的预训练模型,其中,预训练模型包括编码器和解码器,编码器用于将输入序列的序列向量编码为对应的特征编码向量,解码器用于基于编码器输出的特征编码向量解码出编码器的输入序列中被掩码的部分序列;能够提高预训练模型的特征表征准确性。

Patent Agency Ranking