-
公开(公告)号：CN106354710A
公开(公告)日：2017-01-25
申请号：CN201610685532.2
申请日：2016-08-18
Applicant: 清华大学
CPC classification number: G06F17/278 , G06N3/0454 , G06N3/08
Abstract: 本发明公开了一种神经网络关系抽取方法，基于句子级别选择注意力机制的神经网络关系抽取方法，具体为：对每个句子和其相关的一对实体，采用卷积神经网络构建所述一对实体的句子向量表示；采用设置的句子级别注意力机制选择其中的表达了所述一对实体间的关系的句子向量表示，得到所述一对实体的综合句子向量表示；根据所述一对实体的综合句子向量表示进行所述一对实体间的关系预测。这样，本发明实施例不但可以在神经网络关系抽取中降低远程监督数据中噪音的干扰，还可以同时考虑不同句子的信息，提高模型的稳定性，具有良好的实用性。
-
公开(公告)号：CN117272057A
公开(公告)日：2023-12-22
申请号：CN202211240275.3
申请日：2022-10-11
Applicant: 腾讯科技(深圳)有限公司 , 清华大学
IPC: G06F18/22 , G06F16/33 , G06F16/332 , G06F16/35 , G06F40/289 , G06F18/214 , G06F18/25 , G06F18/2415 , G06N3/047 , G06N3/084
Abstract: 本申请实施例提供了一种数据处理方法、装置、计算机设备以及可读存储介质，应用于云技术、人工智能、智慧交通、辅助驾驶、模型初始化、高效少参数微调、任务迁移等场景，方法包括：获取N个候选任务分别对应的候选网络模型；将目标任务对应的业务样本数据分别输入至N个候选网络模型，通过N个候选网络模型分别输出业务特征向量；基于业务样本数据和N个候选网络模型分别输出的业务特征向量，确定N个候选网络模型分别对应的模型权重；根据N个候选网络模型和N个候选网络模型分别对应的模型权重，生成目标任务对应的初始网络模型。本申请可以提高初始网络模型的准确度。
-
公开(公告)号：CN117033645A
公开(公告)日：2023-11-10
申请号：CN202210494045.3
申请日：2022-04-29
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/36 , G06F18/214
Abstract: 本申请公开了一种知识图谱补全方法、装置、存储介质及设备，属于人工智能领域。该方法包括：获取第一样本集，第一样本集包括知识图谱中的三元组；对于第一样本集中的任意一个三元组，确定该三元组包括的关系对应的句式模板，基于该关系对应的句式模板将该三元组转化为语句，在语句中插入向量，得到第一类数据；获取该三元组包括的实体的介绍信息，基于该介绍信息对应的句式模板，将实体和介绍信息转化为第二类数据；基于第一样本集中多个三元组对应的第一类数据和第二类数据进行模型训练；基于得到的知识图谱补全模型为该知识图谱确定新的三元组，基于新的三元组在该知识图谱中新增实体和关系。本申请能够确保补全后的知识图谱的准确性。
-
公开(公告)号：CN113515943A
公开(公告)日：2021-10-19
申请号：CN202011583809.3
申请日：2020-12-28
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F40/295 , G06F16/35 , G06F16/33 , G06F16/332 , G06F40/58 , G06N3/08
Abstract: 本申请公开了一种自然语言处理方法及其模型的获取方法、装置、存储介质，涉及人工智能技术领域。其中，该方法可以将获取到的目标文本输入至目标自然语言处理模型，以得到自然语言的处理结果。由于该目标自然语言处理模型是基于基础处理模型的实体预测损失值及实体关系预测损失值对基础处理模型更新得到的，因此该目标自然语言处理模型不仅能够较好的了解实体本身，而且能够较好的了解不同实体之间的复杂交互关系，进而采用该目标自然语言处理模型对自然语言处理的结果准确率更高，可靠性更好。
-
公开(公告)号：CN113159168A
公开(公告)日：2021-07-23
申请号：CN202110420970.7
申请日：2021-04-19
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06K9/62 , G06F40/284 , G06N5/04 , G06N3/04 , G06N3/08
Abstract: 本发明实施例提供一种基于冗余词删除的预训练模型加速推理方法和系统，其中所述方法包括：使用给定下游任务的句子序列和样本标签在预训练语言模型上进行微调，得到一个微调好的初始模型；在微调好的初始模型中添加若干层词选择层，在所述微调好的初始模型中逐层向前传递词的过程中，在输入的词中仅保留通过所述词选择层的词进入到下一层；其中，所述词选择层是基于样本数据以及预先确定的词信息量标签进行训练后得到。本发明实施例提供的一种预训练语言模型加速推理方法，不但可以降低预训练语言模型推理时的资源消耗，还可以拓展其至长文本处理以获得更好的效果。同时，本发明可以快速得到不同加速度下相对性能较好的模型，具有良好的实用性。
-
Patent Agency Ranking
公开(公告)号：CN112084331A
公开(公告)日：2020-12-15
申请号：CN202010881097.7
申请日：2020-08-27
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/35 , G06F40/30 , G06F40/295 , G06F40/268 , G06F40/211 , G06F40/58 , G06F16/34 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本申请涉及一种文本处理、模型训练方法、装置、计算机设备和存储介质。文本处理方法包括：获取待处理的目标文本，对目标文本进行编码，得到目标文本编码向量；获取目标文本中的目标实体，确定目标实体对应的第一关联实体；根据第一关联实体的实体表示向量以及对应的注意力权重，确定目标实体对应的目标知识表示向量；将目标文本编码向量与目标实体对应的目标知识表示向量进行融合处理，得到目标融合结果；根据目标融合结果确定目标文本对应的文本处理结果。本申请实施例的文本处理结果可以是基于人工智能的文本处理模型处理得到的，采用本方法能够提高得到的文本处理结果的准确度。
-
公开(公告)号：CN111950269A
公开(公告)日：2020-11-17
申请号：CN202010847425.1
申请日：2020-08-21
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F40/279 , G06F40/194
Abstract: 本申请涉及一种文本语句处理方法、装置、计算机设备和存储介质，包括：获取含实体对和实体对的关系标签的样本文本语句；根据关系标签从样本文本语句中提取正例语句对和负例语句对，并进行正负例采样处理，获得训练集；将训练集输入至待训练的关系抽取模型，生成包括对比损失值的损失值；对比损失值用于表征正例语句对中语句的相似度与负例语句对中语句的相似度之间的差异；根据损失值调整关系抽取模型的参数，并返回根据关系标签从样本文本语句中提取正例语句对和负例语句对的步骤，以进行迭代训练，直至满足训练停止条件，得到关系抽取模型；关系抽取模型用于识别文本语句中实体对的实体关系。采用本方法能够有效提高实体关系抽取的准确性。
-
公开(公告)号：CN111737415A
公开(公告)日：2020-10-02
申请号：CN202010537884.X
申请日：2020-06-12
Applicant: 清华大学 , 腾讯科技(深圳)有限公司
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06F40/30 , G06K9/62
Abstract: 本申请公开了实体关系抽取方法、实体关系学习模型的获取方法及设备。方法包括：获取目标文本和目标实体关系学习模型，目标实体关系学习模型基于目标实体关系集对应的原型特征集得到；调用目标实体关系学习模型获取目标文本的文本特征和各个目标实体关系分别对应的目标原型特征；基于文本特征和任一目标实体关系对应的目标原型特征，确定目标文本与任一目标实体关系的匹配度；基于目标文本与各个目标实体关系的匹配度，确定目标文本对应的实体关系。此种方式，原型特征集中的原型特征能够更加全面地代表实体关系，基于原型特征集得到的目标实体关系学习模型具有较好的实体关系学习效果，利用目标实体关系学习模型进行实体关系抽取的准确率较高。
-
公开(公告)号：CN108052625B
公开(公告)日：2020-05-19
申请号：CN201711366934.7
申请日：2017-12-18
Applicant: 清华大学
Abstract: 本发明提供一种实体精细分类方法，包括：基于目标实体文本中各单词对应的单词向量，计算实体表示向量；基于句子中目标实体文本两侧各单词分别对应的语境单词向量，获取目标实体文本的基础语境向量；基于目标实体文本的知识库表示向量和基础语境向量，计算所述两侧各单词分别对应的知识库相关注意力值；基于所述知识库相关注意力值及所述基础语境向量，计算目标实体文本的知识库相关语境向量；合并所述目标实体文本的实体表示向量和知识库相关语境向量，获取句子表示向量，基于该句子表示向量，利用于建的目标分类器模型，获取目标实体文本属于各给定类别的概率。本发明能够有效提高分类模型的稳定性，并有效改善实体精细分类的效果。
-
公开(公告)号：CN107273349B
公开(公告)日：2019-11-22
申请号：CN201710322534.X
申请日：2017-05-09
Applicant: 清华大学
Abstract: 本发明公开一种基于多种语言的实体关系抽取方法及服务器。其中，所述方法包括：在多种语言中获取待抽取关系的两个实体以及在每种语言中第一预设数量的与所述两个实体相关的句子，并构建每个与两个实体相关的句子的向量表示；根据某一种语言中每个与两个实体相关的句子的向量表示以及预设的两个实体间的关系的向量表示，获得所述某一种语言中与两个实体相关的句子相对于多种语言中任意一种语言的综合向量表示；根据各个所述综合向量表示以及预先建立的关系抽取模型，在所述预设的两个实体间的关系中抽取两个实体间的关系。所述服务器用于执行上述方法。本发明提供的基于多种语言的实体关系抽取方法及服务器，提高了两个实体间关系抽取的准确性。
-
-
-
-
-
-
-
-
-
Search Results
30
records
(took 0.03 seconds)
