一种融合依存句法和指针生成网络的三元组抽取方法

    公开(公告)号:CN114239548B

    公开(公告)日:2025-05-02

    申请号:CN202111543918.7

    申请日:2021-12-16

    Abstract: 本发明公开了一种融合依存句法和指针生成网路的三元组抽取方法。首先本发明使用百度NLP工具解析句子,并利用句子解析后得到的词性结果将一些专用名词进行了泛化处理。另外,为了充分利用句子的依存结构信息,本发明引用了KVMN模型充分学习词与词之间的依赖弧以及他们的依赖关系类别的信息,在这之后使用Bi‑LSTM学习上下文内容,并使用注意机制计算注意力分布及句子表示向量。最后本发明通过建立一个扩展词汇表表示原词汇表和源文档中出现的所有词汇总集,计算每个词的概率,进行词生成。实验结果表明,本发明能很好解决词汇表不足的问题,并且着重强调了依存结构的信息,有较强的适用能力,有效提升三元组抽取方法的准确性。

    一种基于知识图谱的图像场景图生成方法

    公开(公告)号:CN114329010B

    公开(公告)日:2025-04-29

    申请号:CN202111638030.1

    申请日:2021-12-29

    Abstract: 本发明公开了一种基于知识图谱的图像场景图生成方法,本发明首先使用OPENIE模型将图像描述转化成三元组,并转化成实体和实体对应关系,导入NEO4J中,构建COCO和VisualGenome数据集的知识图谱;其次模型结合知识图谱,对输入的图像进行目标检测,识别出对应的对象类别和对象属性,以及两两候选框之间有交集的关系。将得到的对象属性放入知识图谱中,作为检索关键点,并调用NEO4J数据库得到标记权重的关系节点以及对应的另一个实体节点;同理,将关系属性特征放入到知识图谱中,得到节点属性组;将通过知识图谱得到的指定数量的三元组放入排列模块;放入到场景图生成的网络中,最终生成基于知识图谱的场景图。本发明针对图像目标识别和关系检测的问题,提出了优化方案。

    一种基于知识图谱和跨模态注意力的多模态反讽检测方法

    公开(公告)号:CN114330334B

    公开(公告)日:2025-04-25

    申请号:CN202111650030.3

    申请日:2021-12-30

    Abstract: 本发明公开了一种基于知识图谱和跨模态注意力的多模态反讽检测方法。本发明根据Bert模型构建跨模态注意力特征向量,以及运用多模态知识图谱来获取外部信息,并对外部信息进行筛选。跨模态注意力构建的是音频信息与文本句信息以及情感值向量三者的关系,通过音频信息向量与情感值向量之间的联系与影响来计算注意力,以此来关注句中的矛盾表达。而外部知识信息的筛选,则是运用文本抽取的信息与知识图谱检索的外部信息相似度进行。最后将获取的各个类型的特征向量,输入到分类层进行分类。本发明能够很好解决了不同模态信息的融合问题,能够关注句内的矛盾也能提取不同模态的不一致性特征,能够提高反讽检测任务的准确性。

    一种基于双向语义互补的多模态命名实体识别方法

    公开(公告)号:CN117787280A

    公开(公告)日:2024-03-29

    申请号:CN202311829393.2

    申请日:2023-12-28

    Inventor: 姜明 李启明 张旻

    Abstract: 本发明公开了一种基于双向语义互补的多模态命名实体识别方法,属于多模态命名实体识别技术领域,该方法引入由输入文本和输入图像得到的生成图像和图像描述,以增强多模态数据的特征表示,丰富文本和图像语义信息的表达;构建多模态语义交互模块,在文本和图像交互之前,先在文本和图像两个维度上对输入文本和输入图像进行语义信息的双向互补,以实现不同特征之间语义的充分交互,提高模型对多模态数据的准确理解和处理能力。本发明可以有效地提升命名实体识别效果。

    一种基于注意力增强与粗细粒度协同的文档信息提取方法

    公开(公告)号:CN117688932A

    公开(公告)日:2024-03-12

    申请号:CN202311676055.X

    申请日:2023-12-08

    Inventor: 姜明 余德志 张旻

    Abstract: 本发明公开了一种基于注意力增强与粗细粒度协同的文档信息提取方法,包括如下步骤,根据实体以及对于实体的文本内容和文本框信息得到实体节点图像特征、实体节点文本特征、实体节点布局特征;获取文档中每个实体节点相邻最近的n个实体节点,得到最近的n个实体节点索引生成边邻接矩阵;获取到的实体节点特征以及边邻接矩阵通过GraphSAGE图网络模型进行节点特征学习,并输入到全连接层进行节点分类;对文档中进行图采样,获取实体节点对,获得节点对之间的边特征,与边特征融合得到最终边特征;输入到全连接层进行边分类。该方法采用粗细粒度协同融合边特征定义的方法,减少在边特征定义时对原文档特征的忽视,增强实体对之间的交互关系。

    基于yolov7的物体表面缺陷检测方法

    公开(公告)号:CN116958074A

    公开(公告)日:2023-10-27

    申请号:CN202310836985.0

    申请日:2023-07-10

    Abstract: 本发明属于表面缺陷检测等计算机视觉领域。基于对表面缺陷的特点与YOLOv7算法架构的研究,提出了一种基于yolov7的物体表面缺陷检测方法包括:获取图片,构建训练集、测试集、验证集,在YOLOv7模型的基础上,构建表面缺陷识别模型:在SPPCSPC模块后面加入EVCBlock模块;将Concat模块替换成AScat模块;在特征提取网络输出端部分添加SPDConv模块;采用训练好的表面缺陷检测模型对待测图片进行缺陷识别。本发明让模型更够准确检测与定位小目标缺陷,实现在整体上提高物体表面缺陷检测特别是小目标缺陷检测的准确度。

    基于矢量空间分离的持续电磁信号分类方法

    公开(公告)号:CN115496115B

    公开(公告)日:2023-05-19

    申请号:CN202211456173.5

    申请日:2022-11-21

    Abstract: 本方案公开了一种基于矢量空间分离的持续电磁信号分类方法,包括,使用无线电信号作为训练卷积神经网络的样本数据;进行第一个任务训练得到训练后的卷积神经网络;当新任务到来时,在原有卷积神经网络模型上增加新的全连接层,与旧的全连接层进行拼接输出;新任务训练过程中,基于余弦相似度控制新旧任务在矢量空间的距离,并使用L2正则化平衡新旧任务权重的大小,同时使用交叉熵损失函数区分新类与旧类;新任务训练结束后得到新的卷积神经网络。本方案引入一种相似度损失函数,并在交叉熵损失函数的共同作用下,在矢量空间中,保证新类对旧类的分类和新类之间的区分,来减少新类对旧类的影响并保证新任务的学习。

    基于预训练模型和自动感受野的关键词抽取方法与系统

    公开(公告)号:CN116011441A

    公开(公告)日:2023-04-25

    申请号:CN202211694597.5

    申请日:2022-12-28

    Inventor: 姜明 叶廉 张旻

    Abstract: 本发明公开了基于预训练模型和自动感受野的关键词抽取方法与系统,属于自然语言中文本关键词抽取领域。首先构建输入嵌入模块,对文档序列进行词元化,构建停用词集合和遮罩矩阵。其次通过构建感受野和句向量生成网络,根据分别生成感受野矩阵和句向量。然后利用句向量和感受野矩阵生成词排序矩阵,经过注意力评分层,得到候选词分数矩阵,并进一步获取分数序列以及长度序列。最后通过分数序列和长度序列产生的元素对,完成关键词抽取,并对网络模型进行训练。本发明帮助关键词抽取模型融合候选词筛选和候选词排序两项任务,并具有更好的鲁棒性和自适应能力。

    基于分块检索策略的交通标志牌缺失检测方法

    公开(公告)号:CN115661775A

    公开(公告)日:2023-01-31

    申请号:CN202211310291.5

    申请日:2022-10-25

    Abstract: 本发明公开了一种基于分块检索策略的交通标志牌缺失检测方法,包含:通过图像采集装置实时采集待检测路段上的视频流;检测出视频流中的若干交通标志牌并获取每个交通标志牌对应的地理坐标;确定每个交通标志牌的标志牌信息;根据每个交通标志牌的地理坐标和标志牌信息构建无向图和数据库;在同一路段检查流程中,根据获取到的交通标志牌对应的地理坐标和标志牌信息同数据库中对应区域的数据块内的所有交通标志牌进行信息比对以检测交通标志牌缺失情况。本发明的基于分块检索策略的交通标志牌缺失检测方法,将道路信息、标志牌区域划分和数据库构建通过无向图这种数据结构进行自然地关联、映射,用于后续的缺失检测。

Patent Agency Ranking