公开(公告)号：CN112800190B

公开(公告)日：2022-06-10

申请号：CN202011249692.5

申请日：2020-11-11

Applicant: 重庆邮电大学

Inventor： 张璞 ,  明欢欢 ,  朱洪倩

IPC: G06F16/332 ,  G06F16/35 ,  G06F40/211 ,  G06F40/279 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及智能问答技术领域，具体涉及一种基于Bert模型的意图识别与槽值填充联合预测方法，该方法包括：输入目标文本，得到目标文本的词向量、段向量和位置向量，将词向量、段向量和位置向量拼接作为Bert模型的输入向量，输入训练好的Bert模型中，训练好的Bert模型输出意图表示向量和槽值序列表示向量，将意图表示向量和槽值序列表示向量在Gate层通过权重计算，计算出联合作用因子，将联合作用因子作用于槽值序列表示向量，最终输出预测的意图分类和槽值序列。本发明在Bert层上使用Gate机制，充分利用意图识别和槽值填充的内在联系，降低任务错误预测率。

公开(公告)号：CN114444694A

公开(公告)日：2022-05-06

申请号：CN202210070660.1

申请日：2022-01-21

Applicant: 重庆邮电大学

Inventor： 张璞 ,  陈小阳 ,  张雄

IPC: G06N5/02 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于开放世界的知识图谱补全领域，具体涉及一种开放世界知识图谱补全方法及装置，包括获取三元组数据并进行词嵌入，由注意力模块得到关系感知表示并与头实体向量连接，通过Transformer获取连接结果的向量表示；将编码问题向量与连接结果的向量表示的融合结果与Transformer获取的候选向量表示分别输入CNN网络；对CNN网络的输出打分，将得分最高的候选尾实体作为尾部实体；采用交叉熵损失函数训练模型；获取待补全知识图谱并输入训练好的模型进行补全，本发明使用注意力机制与Transformer网络框架，充分利用实体的文本描述中的特征信息，降低模型训练的成本，缩短了模型训练的时间。

公开(公告)号：CN112416956A

公开(公告)日：2021-02-26

申请号：CN202011300093.1

申请日：2020-11-19

Applicant: 重庆邮电大学

Inventor： 张璞 ,  陈鹏 ,  王重阳 ,  熊安萍

IPC: G06F16/23 ,  G06F16/35 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于BERT和独立循环神经网络(IndRNN)的问句分类方法，包括：实时获取待分类的问句数据，将待分类的问句数据输入到训练好的问句分类模型中，得到分类后的数据；问句分类模型包括BERT模型和基于注意力机制的IndRNN模型；本发明利用BERT模型，得到的向量序列能捕捉更多的内在信息，相对RNN更加高效、能捕捉更长距离的依赖，提高预测精度。

公开(公告)号：CN112347269A

公开(公告)日：2021-02-09

申请号：CN202011255816.0

申请日：2020-11-11

Applicant: 重庆邮电大学

Inventor： 张璞 ,  刘华东 ,  陈鹏 ,  熊安萍

IPC: G06F16/36 ,  G06F16/35 ,  G06F40/211 ,  G06F40/30 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于BERT和Att‑BiLSTM的论点对识别方法，包括获取法律判决书中的数据，对数据进行预处理；将预处理的数据输入到训练好的法律论点对分类模型中，识别出诉方辩方相对应的法律论点对，根据法律论点对进行司法判决；所述法律论点对分类模型包括BERT模型和基于注意力长短期记忆循环神经网络Att‑BiLSTM分类模型；本发明在进行数据预测过程中加入了分层Attention机制，该机制为每个单词分配一个注意力权重，并为每个句子分配一个注意力权重，融合了句子级和词级特征，可以将重要特征突出，避免长序列导致的历史记忆变弱的问题，可以有效的提高识别效果。