公开(公告)号：CN118964858A

公开(公告)日：2024-11-15

申请号：CN202411233255.2

申请日：2024-09-04

Applicant: 北京计算机技术及应用研究所

Inventor： 安娜 ,  周益周 ,  白雄文 ,  张毅 ,  惠欣恒

IPC: G06F18/10 ,  G06F18/214 ,  G06F18/25 ,  G06F40/289 ,  G06F40/30 ,  G06F40/151 ,  G06N3/0442 ,  G06N3/098 ,  G06N7/01

Abstract: 本发明涉及一种基于多头注意力机制的多任务联合的要素识别方法，属于自然语言处理技术领域。本发明面向检察业务领域卷宗文档的四类文书，采用多头注意力机制的预训练语言模型，动态获取输入文本的深层次语义信息，构建基于双向长短期记忆网络+条件随机场算法的中文分词模型、基于文本卷积网络的文本分类模型、基于多维度特征融合的要素识别模型。采用并行训练策略共享子任务的参数和信息，能够显著提升模型的学习效率和泛化能力，有效解决检察业务领域传统实体识别技术存在的文本语义提取不全面、要素边界信息无法提取等问题，提升了案件要素识别的准确率。