公开(公告)号：CN119025634A

公开(公告)日：2024-11-26

申请号：CN202410907713.X

申请日：2024-07-08

Applicant: 电子科技大学

Inventor： 贾海涛 ,  蒋超 ,  邢增恒 ,  吴亦乐 ,  任利 ,  许文波 ,  孙立成 ,  李建

IPC: G06F16/332 ,  G06N3/045 ,  G06F40/289 ,  G06F40/30 ,  G06N3/0985 ,  G06N3/0442 ,  G06F16/35 ,  G06N3/047 ,  G06F16/36

Abstract: 本发明旨在解决现有方法在处理多轮对话场景中存在的问题和挑战。为了实现更好的多轮对话的场景，本发明对RCGT进行了轻量化改进，提出了RCGT‑MT(Multi‑Turn)的模型方案，具体技术方案包括：为了缓解下游的对话管理模块的差错累积问题，以及针对历史对话上下文信息没有得到充分利用的问题，本发明对历史对话上下文信息进行编码，并引入历史对话上下文注意力机制，对历史对话和对话行为进行编码，并通过上下文注意力机制聚合历史对话中的信息，为自然语言理解任务引入更丰富的信息，以缓解多轮对话中的差错累积和歧义问题。针对用户输入在不同领域的语境中存在歧义和缺少背景知识的问题，本发明采用了外部知识库用于引入专业的领域知识，特别是在用户提出的问题需要特定的背景信息才能正确理解时，能够帮助模型更好地理解用户的意图，并缓解歧义问题。为了解决随着对话轮次增加导致的历史上下文信息利用不充分的问题，本发明引入了全局注意力机制，用于计算每一轮历史对话信息的权重，更充分高效地实现历史对话信息的利用。