公开(公告)号：CN113297364A

公开(公告)日：2021-08-24

申请号：CN202110632046.5

申请日：2021-06-07

Applicant: 吉林大学

Inventor： 刘露 ,  王乃钰 ,  包铁 ,  张雪松 ,  彭涛

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F40/242 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于智能对话技术领域，具体为一种面向对话系统中的自然语言理解方法及装置，包括是词嵌入层、编码表示层和联合学习层，其结构合理，明基于收集的特定领域数据集与1)原始的BERT‑WWM模型2)原始的ERNIE模型3)基于预训练的联合学习模型4)知识蒸馏后的3层BERT‑WWM模型。四个模型进行了对比实验，在特定领域数据集上，3)模型在意图分类准确率和槽位识别F1两个性能指标上均好于1)和2)模型，而经过知识蒸馏后的4)模型参数规模大大减少，推理延迟也有效减低，且性能损失较小。

公开(公告)号：CN113297364B

公开(公告)日：2023-06-09

申请号：CN202110632046.5

申请日：2021-06-07

Applicant: 吉林大学

Inventor： 刘露 ,  王乃钰 ,  包铁 ,  张雪松 ,  彭涛

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F40/242 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明属于智能对话技术领域，具体为一种面向对话系统中的自然语言理解方法及装置，包括是词嵌入层、编码表示层和联合学习层，其结构合理，明基于收集的特定领域数据集与1)原始的BERT‑WWM模型2)原始的ERNIE模型3)基于预训练的联合学习模型4)知识蒸馏后的3层BERT‑WWM模型。四个模型进行了对比实验，在特定领域数据集上，3)模型在意图分类准确率和槽位识别F1两个性能指标上均好于1)和2)模型，而经过知识蒸馏后的4)模型参数规模大大减少，推理延迟也有效减低，且性能损失较小。