-
公开(公告)号：CN111767718B
公开(公告)日：2021-12-07
申请号：CN202010636770.0
申请日：2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/253 , G06F40/129 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于弱化语法错误特征表示的中文语法错误更正方法，在用于中文语法错误更正任务的Transformer神经网络的基础上，通过编码器所提取得到字符特征表示和上下文特征表示，为待纠错文本中每一个字符学习得到一个弱化因子。弱化因子能够通过联合方程将编码器提取得到的字符特征表示和上下文特征表示联合，使得编码器所提取得到的待纠错文本的特征表示中，语法错误的特征信息得到抑制，从而弱化了语法错误特征信息对中文语法错误更正模型的负面影响，提升了基于Transformer的序列到序列神经网络模型在中文语法错误更正任务中的性能。
-
公开(公告)号：CN110309287B
公开(公告)日：2021-07-06
申请号：CN201910612036.8
申请日：2019-07-08
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F40/211 , G06F40/242 , G06F40/289 , G06F40/30 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种引入对话历史信息的局部注意力机制的检索式对话系统，在开放领域的检索式对话中，传统的模型分为表示层，匹配层，集成层，预测层中，最后从候选集中选出和对话最匹配的候选回复。将表示层划分成单句表示和句间关系两部分进行分别建模。在建模对话的轮次信息时使用局部注意力机制，使得在训练模型时，注意力机制能够获得对于匹配任务更有帮助的轮次信息。局部注意力机制也能够提高模型对整个对话中不同位置内容的关注能力。针对对话中的每部分内容，对重要信息赋予较大权重，次要信息或干扰信息赋予较小权重，实现更好的回复匹配，加快训练速度，提高模型效率。
-
公开(公告)号：CN112256857A
公开(公告)日：2021-01-22
申请号：CN202011286773.2
申请日：2020-11-17
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F16/36 , G06N3/08
Abstract: 本发明公开了一种基于图注意力机制的对话历史建模方法，属于自然语言处理领域。该方法的基本思想是通过注意力机制对对话历史信息进行筛选。该方法的步骤包括：对对话历史，知识图谱和当前用户输入进行编码；基于用户输入计算知识图谱节点的注意力权重，结合节点表示向量加权求和获得知识表示向量；基于知识表示向量和用户输入表示向量计算对话历史中每轮对话的注意力权重，结合对话历史中的每轮对话的表示向量获得对话历史表示向量。利用本发明实施例，能够针对不同的用户输入结合知识图谱自适应的生成与当前轮对话信息最相关的对话历史表示向量。即获得噪声更少的对话历史表示向量，从而能够提升下游对话生成模型的效果，具有很大的实用价值。
-
公开(公告)号：CN112256857B
公开(公告)日：2023-02-03
申请号：CN202011286773.2
申请日：2020-11-17
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F16/36 , G06N3/08
Abstract: 本发明公开了一种基于图注意力机制的对话历史建模方法，属于自然语言处理领域。该方法的基本思想是通过注意力机制对对话历史信息进行筛选。该方法的步骤包括：对对话历史，知识图谱和当前用户输入进行编码；基于用户输入计算知识图谱节点的注意力权重，结合节点表示向量加权求和获得知识表示向量；基于知识表示向量和用户输入表示向量计算对话历史中每轮对话的注意力权重，结合对话历史中的每轮对话的表示向量获得对话历史表示向量。利用本发明实施例，能够针对不同的用户输入结合知识图谱自适应的生成与当前轮对话信息最相关的对话历史表示向量。即获得噪声更少的对话历史表示向量，从而能够提升下游对话生成模型的效果，具有很大的实用价值。
-
公开(公告)号：CN112487169B
公开(公告)日：2023-02-07
申请号：CN202011457909.1
申请日：2020-12-11
Applicant: 北京邮电大学
IPC: G06F16/332 , G06F40/30 , G06N20/00
Abstract: 本发明公开了一种基于元学习的个性化对话改写方法，属于自然语言处理领域。该方法的基本思想是通过元学习减轻个性化对话改写中的过拟合问题。该方法的步骤包括：基于不同用户画像数据构建多个相关的个性化对话改写任务，通过元学习在相关任务上进行联合训练，获得对新任务敏感的模型参数。当面向新任务时，使用此参数初始化的模型进行训练从而获得面向新任务的个性化对话改写模型。利用本发明实施例，可以使模型具有快速学习此类相关任务的能力。当模型用在新的任务数据上时，不需要从头学习，而是基于现有的快速学习此类任务的能力在新任务上快速拟合，减弱过拟合问题，从而提升个性化对话改写的效果，具有很大的实用价值。
-
Patent Agency Ranking
公开(公告)号：CN111767718A
公开(公告)日：2020-10-13
申请号：CN202010636770.0
申请日：2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/253 , G06F40/129 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于弱化语法错误特征表示的中文语法错误更正方法，在用于中文语法错误更正任务的Transformer神经网络的基础上，通过编码器所提取得到字符特征表示和上下文特征表示，为待纠错文本中每一个字符学习得到一个弱化因子。弱化因子能够通过联合方程将编码器提取得到的字符特征表示和上下文特征表示联合，使得编码器所提取得到的待纠错文本的特征表示中，语法错误的特征信息得到抑制，从而弱化了语法错误特征信息对中文语法错误更正模型的负面影响，提升了基于Transformer的序列到序列神经网络模型在中文语法错误更正任务中的性能。
-
公开(公告)号：CN111738007A
公开(公告)日：2020-10-02
申请号：CN202010635292.1
申请日：2020-07-03
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/216 , G06F16/31 , G06F16/35 , G06F16/36 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异，来选择源领域数据中的正样本数据来扩展目标域的训练数据，达到增强目标域的命名实体识别性能的方法。在以往的Bi-LSTM+CRF模型的基础上，为了融合源领域和目标域中句子的语义差异和标签差异，我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异，使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子，扩展目标域的训练数据，解决目标域训练数据不足的问题，同时提升目标域的命名实体识别性能。
-
公开(公告)号：CN110765775B
公开(公告)日：2020-08-04
申请号：CN201911059048.9
申请日：2019-11-01
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/30 , G06N3/08 , G06N3/04
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异，来选择源领域数据中的正样本数据来扩展目标域的训练数据，达到增强目标域的命名实体识别性能的方法。在以往的Bi‑LSTM+CRF模型的基础上，为了融合源领域和目标域中句子的语义差异和标签差异，我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异，使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子，扩展目标域的训练数据，解决目标域训练数据不足的问题，同时提升目标域的命名实体识别性能。
-
公开(公告)号：CN110196980B
公开(公告)日：2020-08-04
申请号：CN201910487638.5
申请日：2019-06-05
Applicant: 北京邮电大学
IPC: G06F40/289 , G06F16/33 , G06N3/04 , G06N3/08
Abstract: 本发明提供了一种基于卷积网络在中文分词任务上的领域迁移方法，在用于中文分词任务的卷积神经网络的基础上，通过在传统的用于计算不同领域分布差异的最大化平均差异Maximum Mean Discrepancy方法中，引入注意力机制attention mechanism，使得在训练神经网络的过程中，注意力机制能够获得对于领域迁移任务更具有帮助的语句信息，将最大化平均差异方法更好的引入到序列标注任务中；同时，在计算最大化平均差异的过程中，为能够正向迁移的语句添加较大的权重，而为没有帮助的语句或是反而产生负面影响的语句添加很小的权重，实现更高效的领域迁移，减少人工语料的标注，缓解自然语言处理NLP研究时由于标注语料工作带来的人工和时间的压力。
-
公开(公告)号：CN110765775A
公开(公告)日：2020-02-07
申请号：CN201911059048.9
申请日：2019-11-01
Applicant: 北京邮电大学
IPC: G06F40/295 , G06F40/30 , G06N3/08 , G06N3/04
Abstract: 本发明提供了一种通过融合源领域和目标域中句子的语义差异和标签差异，来选择源领域数据中的正样本数据来扩展目标域的训练数据，达到增强目标域的命名实体识别性能的方法。在以往的Bi-LSTM+CRF模型的基础上，为了融合源领域和目标域中句子的语义差异和标签差异，我们通过强化学习中的状态表示和奖励设置来引入语义差异和标签差异，使得训练的决策网络可以选择源领域的数据中对于目标域的命名实体识别的性能有正向影响的句子，扩展目标域的训练数据，解决目标域训练数据不足的问题，同时提升目标域的命名实体识别性能。
-
-
-
-
-
-
-
-
-
Search Results
18
records
(took 0.025 seconds)
