一种基于动态多教师模型和结构化关系的知识蒸馏方法

    公开(公告)号:CN119067194A

    公开(公告)日:2024-12-03

    申请号:CN202411094316.1

    申请日:2024-08-09

    Abstract: 一种基于动态多教师模型和结构化关系的知识蒸馏方法,主要内容为一种新型的知识蒸馏方法,通过多个教师模型训练学生模型,并根据教师模型的性能效果为教师模型分配动态的权重来指导学生模型的训练;同时引入结构化关系来辅助训练,通过让学生模型学习教师模型样本输出的空间关系,来提高训练效果。本发明相对于传统的多教师模型,解决了训练学习单一性,盲目性,平均性的特点,根据教师模型优劣进行动态调整学习权重,具有更好的训练效果;同时引入了样本空间关系作为知识进行学习,解决了传统知识蒸馏方法仅依赖响应学习知识的单调性,使学生模型学习到更丰富的知识,提高了学生模型性能。

    一种基于指代消解和BERT模型的实体关系抽取方法

    公开(公告)号:CN116992882A

    公开(公告)日:2023-11-03

    申请号:CN202311080417.9

    申请日:2023-08-25

    Abstract: 本发明属于自然语言处理技术领域,具体提供一种基于指代消解和BERT模型的实体关系抽取方法,用以解决当前中文实体关系抽取中长句文本难以训练、长句文本难以剪枝、关系识别困难等问题,进而优化实体关系抽取模型的抽取效率和准确率。本发明包括:训练过程和预测过程,训练过程中,首先对训练数据进行剪枝处理,随后通过BERT模型提取词向量序列,再通过双向循环门控单元模型提取文本特征向量,最后经过全连接层后通过softmax操作进行关系类别判定,根据判定结果修正模型参数,完成训练;预测过程中,对待处理数据进行相同的预处理,再将预处理后的文本数据传入训练好的神经网络模型,通过模型计算来获取文本特性向量后完成关系类别判定。

    一种基于人体骨架时空关系的行为识别方法

    公开(公告)号:CN111898576B

    公开(公告)日:2022-06-24

    申请号:CN202010783073.8

    申请日:2020-08-06

    Abstract: 本发明涉及计算机视觉技术领域,其公开了一种基于人体骨架时空关系的行为识别方法,解决现有行为识别方法难以充分利用人体在行为动作中时空关系,识别的准确率不高的问题。该方法包括以下步骤:S1、对人体骨架序列进行均匀分段处理;S2、对每段人体骨架信息生成基于距离的图像表达;S3、采用带权多视角卷积方法对每段人体骨架信息的图像表达进行短时空特征提取;S4、采用具有时序关系的多个短时空特征作为Bi‑LSTM模型的输入,提取人体骨架序列的整体时空关系并进行行为识别。

    一种基于知识图谱补全的推荐系统

    公开(公告)号:CN119228477A

    公开(公告)日:2024-12-31

    申请号:CN202411126645.X

    申请日:2024-08-16

    Abstract: 本发明提供一种通过构建能充分利用异构多关系连接和能同时提取多维度特征交互的知识图谱补全模块,从而更准确地输出推荐商品的基于知识图谱补全的推荐系统,包括知识图谱构建模块、知识图谱补全模块和商品推荐模块。结合多关系图注意力网络和多尺度卷积的知识图谱补全模块弥补现有没有考虑到异构多关系连接和难以同时提取多维度特征交互的缺陷,使其更好地完成知识图谱补全任务,使得推荐系统在进行商品推荐的推理时具有更完备的知识图谱,有效提升了推荐系统输出推荐结果的准确度。

    一种基于结构选择和全局位置信息的知识超图补全方法

    公开(公告)号:CN117217304A

    公开(公告)日:2023-12-12

    申请号:CN202311065194.9

    申请日:2023-08-22

    Abstract: 本发明公开了一种基于结构选择和全局位置信息的知识超图补全方法。其中,该方法包括:根据原始知识超图,确定待处理实体嵌入矩阵和待处理关系嵌入矩阵,以及,确定至少一个训练样本数据集;将待处理实体嵌入矩阵、待处理关系嵌入矩阵以及至少一个训练样本数据集输入至待训练模型中,得到与每个正例多元组对应的正例得分以及与每个负例多元组对应的负例得分;根据正例得分和负例得分,确定目标模型损失,并基于目标模型损失对待训练模型进行模型参数调整,得到链接预测模型。本发明实施例的技术方案,实现了提升知识超图补全任务完成度的效果,进一步提高了知识超图链接预测的准确率。

    一种基于图网络的事件分析方法
    27.
    发明公开

    公开(公告)号:CN117216630A

    公开(公告)日:2023-12-12

    申请号:CN202311113902.1

    申请日:2023-08-31

    Abstract: 本发明公开了一种基于图网络的事件分析方法,属于自然语言处理技术领域。该方法包括训练过程和预测过程;在训练过程中,首先获取结构化的文本样本;接着通过异质信息网络组织文本样本,对文本样本进行元路径相似度计算,利用异质图网络对文本节点进行表示学习;再使用基于多头注意力机制网络获取各文本样本对应的标签和情感极性;最后使用梯度下降法,监督优化元路径权重、异质图网络信息聚合法和基于多头注意力机制网络的参数;在预测过程中,将处理好的数据输入情感分析模型,得到对应的语义特征及情感极性,最后使用事件分析模型将输入的文本数据进行分类及情感极性分析。本发明通过图网络和文本向量两种方式,从多角度剖析了文本中可能潜在的事件信息,相对于传统方法更具有准确性。

    基于网络图的物品推荐方法
    28.
    发明公开

    公开(公告)号:CN117216383A

    公开(公告)日:2023-12-12

    申请号:CN202311100927.8

    申请日:2023-08-29

    Abstract: 本发明公开了一种基于网络图的物品推荐方法。该方法包括:获取与待确定推荐物品的用户相对应的待使用物品数据;将所述用户的关联信息和所述待使用物品数据输入至预先训练的目标评分模型中,得到所述用户对每个所述待推荐物品的评分属性;基于所有的所述评分属性,从所述待推荐物品中确定与所述用户相对应的目标推荐物品。解决了现有技术中通过挖掘用户与物品交互关系的方式进行物品推荐,导致推荐效果差,推荐不适配的问题,实现提高推荐效果的同时,使得为用户推荐的物品是用户所感兴趣的,达到提高用户体验的效果。

    一种基于跨模态密集注意力的视觉语言对象分类方法

    公开(公告)号:CN115392382A

    公开(公告)日:2022-11-25

    申请号:CN202211049087.2

    申请日:2022-08-30

    Abstract: 本发明公开了一种基于跨模态密集注意力的视觉语言对象分类方法,该方法包括:获取包含至少一个待分类对象的待处理图像和待处理文本信息,其中,待处理图像与所述待处理文本信息相匹配;将待处理图像以及待处理文本信息输入至预先训练完成的目标对象分类模型中,得到各待分类对象的所属类别;其中,目标对象分类模型中包括两个编码器、序列注意力模块、跨模态注意力模块和分类模块。本发明实施例的技术方案,实现了对待处理图像中所包含的待分类对象进行准确分类的效果,通过采用序列注意力模块,缓解了不同模态数据之间的语义鸿沟问题,进一步提高了多模态分类任务的精度,并且达到了提升模型的鲁棒性的效果。

    一种基于先验原型注意力机制的人体图像多属性分类方法

    公开(公告)号:CN112418261B

    公开(公告)日:2022-05-03

    申请号:CN202010977999.0

    申请日:2020-09-17

    Abstract: 本发明公开了一种基于先验原型注意力机制的人体图像多属性分类方法,属于图像处理技术领域。本发明的方案为:首先构建属性表和对应的人体图像数据集;然后构建多属性分类的神经网络模型:在惯用的多分类神经网络模型的尾部加入先验原型注意力机制插件,并将多分类神经网络的尾部改为多属性分类网络。接着训练所构建的神经网络模型;最后,基于训练好的神经网络模型对人体图像进行多属性的分类识别。本发明一方面保留了传统注意力机制的做法,用生成的注意力图与最后一个卷积特征进行逐点乘法运算,从而保留了传统注意力机制的强过滤性。另一方面通过先验原型注意力图线性组合的方式,增强了注意力图的集中性。因而极大地提升了模型的泛化能力。

Patent Agency Ranking