-
公开(公告)号:CN116136957A
公开(公告)日:2023-05-19
申请号:CN202310410370.1
申请日:2023-04-18
Applicant: 之江实验室
IPC: G06F40/232 , G06N3/08 , G06N3/0455
Abstract: 本发明公开了一种基于意图一致性的文本纠错方法、装置和介质,该方法包括:收集原始纠错数据进行预处理和标注,构建文本纠错模型的纠错数据集;构建基于神经网络的文本纠错模型,将待纠错文本输入至文本纠错模型输出第一字符概率分布;使用第一字符概率分布及其对应的真实标签计算纠错损失值作为第一损失值;使用第一字符概率分布计算基于意图一致性得分的纠错损失值作为第二损失值;基于第一损失值和第二损失值,以两阶段训练的方式训练文本纠错模型,以获取训练好的最终的文本纠错模型;将待纠错文本输入训练得到的文本纠错模型进行纠错,输出纠错后文本。本发明可以有效地降低文本纠错模型的误纠率,提高纠错准确率,具有很强的实用性。