一种端到端的实体链接模型训练方法、实体链接方法及装置

    公开(公告)号:CN114707494B

    公开(公告)日:2025-03-18

    申请号:CN202210154521.7

    申请日:2022-02-21

    Abstract: 本发明提供一种端到端的实体链接模型训练方法、实体链接方法及装置,构建包含第一BERT模型、第二BERT模型和Global Pointer层的初始实体链接模型,基于第一BERT模型和Global Pointer层进行指称识别,基于第一BERT模型和第二BERT模型执行实体消歧。在模型的训练过程中,将指称识别和实体消歧两部分的损失函数进行联合,同时对初始实体链接模型用于执行指称识别和实体消歧的两部分参数进行反向传播调参,有效传递调节两部分误差,使其相互依赖,提升整体效果。在实体消歧的过程中,引入预设知识库作为外部知识,能够极大提升消歧效果。

    一种基于图嵌入与注意力机制的图神经网络会话推荐方法

    公开(公告)号:CN116485501B

    公开(公告)日:2024-02-27

    申请号:CN202310475414.9

    申请日:2023-04-28

    Abstract: 大提高了推荐准确率。本发明提供一种基于图嵌入与注意力机制的图神经网络会话推荐方法,首先将数据集中的会话序列转化为会话图结构;将会话图结构作为门控图神经网络的输入,进行物品特征提取,得到物品特征向量;结合注意力机制和LSTM,对用户的兴趣进行建模,得到用户对于每个物品的兴趣;最后结合用户兴趣和物品特征向量计算每个项目的得分,生成最终的预测结果。本发明通过构建全局图提取了单一会话图不能提供的额外信息辅助物品特征向量的构建,并创新性的提出

    一种端到端的实体链接模型训练方法、实体链接方法及装置

    公开(公告)号:CN114707494A

    公开(公告)日:2022-07-05

    申请号:CN202210154521.7

    申请日:2022-02-21

    Abstract: 本发明提供一种端到端的实体链接模型训练方法、实体链接方法及装置,构建包含第一BERT模型、第二BERT模型和Global Pointer层的初始实体链接模型,基于第一BERT模型和Global Pointer层进行指称识别,基于第一BERT模型和第二BERT模型执行实体消歧。在模型的训练过程中,将指称识别和实体消歧两部分的损失函数进行联合,同时对初始实体链接模型用于执行指称识别和实体消歧的两部分参数进行反向传播调参,有效传递调节两部分误差,使其相互依赖,提升整体效果。在实体消歧的过程中,引入预设知识库作为外部知识,能够极大提升消歧效果。

    空中目标检测增量学习方法、装置及介质

    公开(公告)号:CN118521818A

    公开(公告)日:2024-08-20

    申请号:CN202410494701.9

    申请日:2024-04-24

    Abstract: 本发明公开一种空中目标检测增量学习方法、装置及介质,其中方法包括:获取数据集,所述数据集包括空中目标数据,构建初始模型和增量模型,初始化所述增量模型;选取伪标签,得到知识蒸馏标签集,并利用改进的KD损失对增量模型进行训练;构建保持类别分布的增量训练阶段回放样本数据集,得到回放样本数据集;基于所述回放样本数据集,对训练后的增量模型进行调整。本发明通过从旧模型中选择性地忽略背景预测,并选择高置信度的前景预测,并将其用作伪标签,来使新知识和旧知识以结构化的方式融合,避免它们与新类别标签产生相互矛盾的监督。

    一种小样本关系抽取方法、系统、电子设备及存储介质

    公开(公告)号:CN116205217B

    公开(公告)日:2023-09-01

    申请号:CN202310495624.4

    申请日:2023-05-05

    Abstract: 本发明公开一种小样本关系抽取方法、系统、电子设备及存储介质,涉及数据处理技术领域。所述方法包括:获取目标文本;根据小样本关系抽取模型和目标文本确定实体关系表示;实体关系表示包括实体文本及对应的概念和关系;其中,小样本关系抽取模型是通过对比学习损失和交叉熵损失进行训练的;小样本关系抽取模型包括概念编码模块、句子编码模块和文本概念融合模块;概念编码模块和句子编码模块均与文本概念融合模块连接;概念编码模块是基于skip‑gram模型构建的;句子编码模块是基于Bert嵌入模型构建的;文本概念融合模块是基于自我注意机制网络和相似度门构建的。本发明能够在样本不充分时,提高对样本关系抽取的准确率。

    一种触发词和论元的抽取方法、系统、设备及介质

    公开(公告)号:CN116205220A

    公开(公告)日:2023-06-02

    申请号:CN202310438459.9

    申请日:2023-04-23

    Abstract: 本发明公开一种触发词和论元的抽取方法、系统、设备及介质,涉及自然语言处理技术领域。所述方法包括:获取目标文本;所述目标文本是由自然语言的字符数据构成的文本;对所述目标文本进行预处理,得到事件信息;所述事件信息包括文本段落及对应的事件类型和事件属性;利用事件抽取模型,对所述事件信息的触发词和论元进行抽取,得到事件分析结构;所述事件分析结构是由触发词及对应的字符数据、论元及对应的字符数据构成的;所述事件抽取模型包括依次连接的多头注意力模块和T5预训练模型;所述多头注意力模块包括依次连接的编码器和解码器。本发明能够提高事件抽取检测的精确率。

    一种小样本关系抽取方法、系统、电子设备及存储介质

    公开(公告)号:CN116205217A

    公开(公告)日:2023-06-02

    申请号:CN202310495624.4

    申请日:2023-05-05

    Abstract: 本发明公开一种小样本关系抽取方法、系统、电子设备及存储介质,涉及数据处理技术领域。所述方法包括:获取目标文本;根据小样本关系抽取模型和目标文本确定实体关系表示;实体关系表示包括实体文本及对应的概念和关系;其中,小样本关系抽取模型是通过对比学习损失和交叉熵损失进行训练的;小样本关系抽取模型包括概念编码模块、句子编码模块和文本概念融合模块;概念编码模块和句子编码模块均与文本概念融合模块连接;概念编码模块是基于skip‑gram模型构建的;句子编码模块是基于Bert嵌入模型构建的;文本概念融合模块是基于自我注意机制网络和相似度门构建的。本发明能够在样本不充分时,提高对样本关系抽取的准确率。

Patent Agency Ranking