-
公开(公告)号:CN117010411A
公开(公告)日:2023-11-07
申请号:CN202310796126.3
申请日:2023-07-01
Applicant: 哈尔滨理工大学
IPC: G06F40/35 , G06N3/0455 , G06N3/042 , G06N3/098
Abstract: 本发明涉及对话系统领域,具体为一种基于显式双向交互联合模型的对话系统自然语言理解方法,主要包括三部分。(1)编码层:采用预训练模型BERT、意图端Transformer‑Encoder和槽端Transformer‑Encoder进行语义编码。(2)联合学习层:在意图端和槽端实施多层门控交叉注意力单元,分别得到经过多层交叉注意力加权的槽和意图交互信息表示,进行残差链接和层归一化,得到深层次的联合任务级别的语义编码。(3)任务输出层:采用最大池化操作、sigmoid激活等方式得到多意图标签;使用自适应意图‑槽位图交互模块,利用预测的意图指导槽位的预测,采用了图注意力网络建模意图和槽位之间的交互,并扩展使用多头注意力机制和掩码机制。最后由CRF层对槽标签之间的依赖关系建模,预测槽标记序列。