一种基于软提示的医疗文本分类方法

    公开(公告)号:CN116595170A

    公开(公告)日:2023-08-15

    申请号:CN202310427121.3

    申请日:2023-04-20

    Abstract: 本发明公开了一种基于软提示的医疗文本分类方法,包括1)在原始的输入序列中插入可训练的词向量token,固定一些任务相关的锚点token,使用神经网络对其进行随机初始化;2)通过使用四种策略对原有的类别标签词空间进行扩展,将原始输入文本加入软模板后送入预训练语言模型中,利用预训练语言模型的知识库计算每个单词被填入的概率;3)将单词的概率映射到特定的类别标签,得出分类的结果;4)通过损失函数计算真实标签和预测结果之间的误差,不断更新连续模板以及模型参数。本发明不仅大大减少了对人工资源以及对大规模训练样本的依赖,也在一定程度上降低了模型训练的成本,具有较高的鲁棒性和实用性。

Patent Agency Ranking