-
公开(公告)号:CN114707494B
公开(公告)日:2025-03-18
申请号:CN202210154521.7
申请日:2022-02-21
Applicant: 北京邮电大学
IPC: G06F40/279 , G06F40/247 , G06F40/211 , G06F16/334 , G06N3/084
Abstract: 本发明提供一种端到端的实体链接模型训练方法、实体链接方法及装置,构建包含第一BERT模型、第二BERT模型和Global Pointer层的初始实体链接模型,基于第一BERT模型和Global Pointer层进行指称识别,基于第一BERT模型和第二BERT模型执行实体消歧。在模型的训练过程中,将指称识别和实体消歧两部分的损失函数进行联合,同时对初始实体链接模型用于执行指称识别和实体消歧的两部分参数进行反向传播调参,有效传递调节两部分误差,使其相互依赖,提升整体效果。在实体消歧的过程中,引入预设知识库作为外部知识,能够极大提升消歧效果。
-
公开(公告)号:CN118820845A
公开(公告)日:2024-10-22
申请号:CN202410816066.1
申请日:2024-06-24
Applicant: 北京邮电大学 , 中国人民解放军91054部队
IPC: G06F18/24 , G06F18/25 , G06N3/088 , G06F17/16 , G06N3/0455
Abstract: 本发明公开一种无监督领域自适应的情感分类方法、装置及介质,其中方法首先训练任务适配器,然后堆叠在任务适配器上进行训练以获得更好的域对齐表示,最后融合堆叠领域适配器和任务适配器进行训练后在目标领域进行域适应。双适配器融合方法通过适配器融合模块解决了动态区分领域不变信息和任务表示信息重要程度的问题,而堆叠领域适配器堆叠在任务适配器上进行训练,学习的域不变信息是基于任务信息的,比基于预训练模型的通用信息在目标领域域适应的时候更加有用。实验结果表明,本发明可以有效的增强无监督领域自适应的域适应性能,同时依然保持参数高效的优点。
-
公开(公告)号:CN116485501B
公开(公告)日:2024-02-27
申请号:CN202310475414.9
申请日:2023-04-28
Applicant: 北京邮电大学
IPC: G06Q30/0601 , G06N3/0442 , G06N3/042 , G06N3/084 , G06N3/0464
Abstract: 大提高了推荐准确率。本发明提供一种基于图嵌入与注意力机制的图神经网络会话推荐方法,首先将数据集中的会话序列转化为会话图结构;将会话图结构作为门控图神经网络的输入,进行物品特征提取,得到物品特征向量;结合注意力机制和LSTM,对用户的兴趣进行建模,得到用户对于每个物品的兴趣;最后结合用户兴趣和物品特征向量计算每个项目的得分,生成最终的预测结果。本发明通过构建全局图提取了单一会话图不能提供的额外信息辅助物品特征向量的构建,并创新性的提出
-
公开(公告)号:CN114707494A
公开(公告)日:2022-07-05
申请号:CN202210154521.7
申请日:2022-02-21
Applicant: 北京邮电大学
IPC: G06F40/279 , G06F40/247 , G06F40/211 , G06F16/33 , G06N3/08
Abstract: 本发明提供一种端到端的实体链接模型训练方法、实体链接方法及装置,构建包含第一BERT模型、第二BERT模型和Global Pointer层的初始实体链接模型,基于第一BERT模型和Global Pointer层进行指称识别,基于第一BERT模型和第二BERT模型执行实体消歧。在模型的训练过程中,将指称识别和实体消歧两部分的损失函数进行联合,同时对初始实体链接模型用于执行指称识别和实体消歧的两部分参数进行反向传播调参,有效传递调节两部分误差,使其相互依赖,提升整体效果。在实体消歧的过程中,引入预设知识库作为外部知识,能够极大提升消歧效果。
-
公开(公告)号:CN118521818A
公开(公告)日:2024-08-20
申请号:CN202410494701.9
申请日:2024-04-24
Applicant: 北京邮电大学
IPC: G06V10/764 , G06V10/774 , G06V10/75
Abstract: 本发明公开一种空中目标检测增量学习方法、装置及介质,其中方法包括:获取数据集,所述数据集包括空中目标数据,构建初始模型和增量模型,初始化所述增量模型;选取伪标签,得到知识蒸馏标签集,并利用改进的KD损失对增量模型进行训练;构建保持类别分布的增量训练阶段回放样本数据集,得到回放样本数据集;基于所述回放样本数据集,对训练后的增量模型进行调整。本发明通过从旧模型中选择性地忽略背景预测,并选择高置信度的前景预测,并将其用作伪标签,来使新知识和旧知识以结构化的方式融合,避免它们与新类别标签产生相互矛盾的监督。
-
公开(公告)号:CN118467859A
公开(公告)日:2024-08-09
申请号:CN202410932892.2
申请日:2024-07-12
Applicant: 北京邮电大学 , 中国人民解放军91054部队
IPC: G06F16/9537 , G06Q30/0601 , G06N3/042 , G06N3/045 , G06N3/0442 , G06N3/048
Abstract: 本发明公开一种会话推荐方法、装置及系统和存储介质,该方法包括:获取物品的序列信息和转移信息,根据所述物品的序列信息和转移信息确定物品嵌入;基于所述物品嵌入,给定会话的时间序列,计算出每个物品对于最后一个物品的时间间隔,并对所述时间间隔进行归一化得到归一化的时间间隔,对每个时间间隔向量进行映射得到一个可学习的嵌入向量,对所述可学习的嵌入向量进行维度统一,并使用反向的时间感知嵌入计算混合嵌入,根据所述混合嵌入的优先级,得到会话表示;基于所述会话表示,计算每一个候选物品的得分。本发明将时间感知引入会话推荐领域,并创新性的提出一种具有时间感知的基于图神经网络的会话推荐算法,提升推荐效果。
-
公开(公告)号:CN118467855A
公开(公告)日:2024-08-09
申请号:CN202410911451.4
申请日:2024-07-09
Applicant: 北京邮电大学 , 中国人民解放军91054部队
IPC: G06F16/9536 , G06N3/042 , G06N3/0895
Abstract: 本发明公开一种自监督协同过滤推荐方法、装置及系统和存储介质,结合随机游走、聚类、自监督等方法通过设计两个不同的通道来学习节点特征。其中基于GCN的通道是为了深入挖掘用户之间的高阶社会关系,首先通过聚类来得到用户的直接社会关系,之后通过GCN来进一步挖掘用户之间的高阶隐藏社会关系。此外,为了更有效的学习商品的特征和用户与商品之间的关联信息,通过随机游走来构建商品超边组,此举是为了让商品特征更突出,不再单一的通过商品与用户的关联来突出商品特征。通过最大化两个通道学习到的会话表示之间的互信息和前置任务的最优表示,可以帮助模型实现自监督的过程,从而达到更好的效果。
-
公开(公告)号:CN116205217B
公开(公告)日:2023-09-01
申请号:CN202310495624.4
申请日:2023-05-05
Applicant: 北京邮电大学
IPC: G06F40/279 , G06F40/216 , G06F16/35 , G06N20/00
Abstract: 本发明公开一种小样本关系抽取方法、系统、电子设备及存储介质,涉及数据处理技术领域。所述方法包括:获取目标文本;根据小样本关系抽取模型和目标文本确定实体关系表示;实体关系表示包括实体文本及对应的概念和关系;其中,小样本关系抽取模型是通过对比学习损失和交叉熵损失进行训练的;小样本关系抽取模型包括概念编码模块、句子编码模块和文本概念融合模块;概念编码模块和句子编码模块均与文本概念融合模块连接;概念编码模块是基于skip‑gram模型构建的;句子编码模块是基于Bert嵌入模型构建的;文本概念融合模块是基于自我注意机制网络和相似度门构建的。本发明能够在样本不充分时,提高对样本关系抽取的准确率。
-
公开(公告)号:CN116205220A
公开(公告)日:2023-06-02
申请号:CN202310438459.9
申请日:2023-04-23
Applicant: 北京邮电大学
IPC: G06F40/284 , G06N3/0455 , G06N3/042 , G06N3/048 , G06N3/0499 , G06N3/096
Abstract: 本发明公开一种触发词和论元的抽取方法、系统、设备及介质,涉及自然语言处理技术领域。所述方法包括:获取目标文本;所述目标文本是由自然语言的字符数据构成的文本;对所述目标文本进行预处理,得到事件信息;所述事件信息包括文本段落及对应的事件类型和事件属性;利用事件抽取模型,对所述事件信息的触发词和论元进行抽取,得到事件分析结构;所述事件分析结构是由触发词及对应的字符数据、论元及对应的字符数据构成的;所述事件抽取模型包括依次连接的多头注意力模块和T5预训练模型;所述多头注意力模块包括依次连接的编码器和解码器。本发明能够提高事件抽取检测的精确率。
-
公开(公告)号:CN116205217A
公开(公告)日:2023-06-02
申请号:CN202310495624.4
申请日:2023-05-05
Applicant: 北京邮电大学
IPC: G06F40/279 , G06F40/216 , G06F16/35 , G06N20/00
Abstract: 本发明公开一种小样本关系抽取方法、系统、电子设备及存储介质,涉及数据处理技术领域。所述方法包括:获取目标文本;根据小样本关系抽取模型和目标文本确定实体关系表示;实体关系表示包括实体文本及对应的概念和关系;其中,小样本关系抽取模型是通过对比学习损失和交叉熵损失进行训练的;小样本关系抽取模型包括概念编码模块、句子编码模块和文本概念融合模块;概念编码模块和句子编码模块均与文本概念融合模块连接;概念编码模块是基于skip‑gram模型构建的;句子编码模块是基于Bert嵌入模型构建的;文本概念融合模块是基于自我注意机制网络和相似度门构建的。本发明能够在样本不充分时,提高对样本关系抽取的准确率。
-
-
-
-
-
-
-
-
-