一种基于强交互和细粒度对齐的多模态命名实体识别方法

    公开(公告)号:CN116384394A

    公开(公告)日:2023-07-04

    申请号:CN202310061983.9

    申请日:2023-02-04

    Abstract: 本发明设计自然语言处理领域的多模态实体识别方法,特别涉及针对模态之间信息交互不足,获得更准确的模型间信息相关性,包括以下步骤:将文本按字切分并转为数字标记输入BERT预训练模型,获取最后一层隐藏层向量;将相应的图像信息输入进RESNET模型获得图像隐藏层向量,同时使用目标检测工具识别图像中包含的目标,通过计算实体和图像中目标的相关性,对模态之间的相关性进行判断;通过对比学习的方式拉近文本向量和图像向量的嵌入分布距离,优化文本向量的表示意义;同时开发了一种动态门机制,更好的利用模态间相关性来增强对比学习的效果;在测试集上提取文本特征并进行测试。本发明可以获得表征含义更丰富的文本表示,能够更为有效的提升多模态实体识别的准确性。

    一种融合多特征和注意力机制的多模态情感分析方法

    公开(公告)号:CN116028846A

    公开(公告)日:2023-04-28

    申请号:CN202211628659.2

    申请日:2022-12-20

    Abstract: 本发明公开了一种融合多特征和注意力机制的多模态情感分析模型,该模型具体包括以下步骤:通过多模态特征提取模块获得各模态丰富的低层特征;通过自注意力机制实现对三种模态内部信息的提取,获得对应的高层特征;通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互,在空间上实现模态间信息的交互,将学习到的模态内部信息和模态间交互信息进行拼接,得到更加丰富的音频和视频融合特征;最后拼接三种模态的最终表示并传入一个软注意力模块,为三种模态分配不同的权重,通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试,本发明可以有效提升多模态情感分析的准确性。

    一种基于视觉语义信息的图像分类深度学习模型解释方法

    公开(公告)号:CN115601588A

    公开(公告)日:2023-01-13

    申请号:CN202211196793.X

    申请日:2022-09-30

    Abstract: 本发明涉及计算机视觉领域的模型解释方法,特别涉及针对图像分类深度学习模型得到模型可解释性语句,提升模型解释效果,包括以下步骤:计算分类模型神经元置信度分数;利用反向传播推导出对应神经元权重并与置信度相乘作为最终评分找出重要神经元;使用类激活图将重要神经元在图像上的关注区域可视化,提取视觉特征,并用同样方法构建对应类的神经元视觉特征数据集;将视觉特征数据集标注对应语义信息并使用分类网络对其进行训练;使用训练好的分类网络提取重要神经元视觉特征对应的语义信息;结合神经元重要程度分数、视觉特征、语义信息组成描述此模型分类过程的解释性语句。

    多粒度图像分类方法、装置、电子设备及存储介质

    公开(公告)号:CN119048791A

    公开(公告)日:2024-11-29

    申请号:CN202410210752.4

    申请日:2024-06-14

    Abstract: 本申请公开了一种多粒度图像分类方法、装置、电子设备及存储介质。该分类方法通过层次多粒度图像分类模型实现,该方法包括:获取多尺度信息的特征图;提取并融合不同层次粒度的特征向量,得到各个层次的多尺度融合特征向量;对各个层次的多尺度融合特征向量进行层次特征映射;将映射得到的特征向量与被映射的细粒度特征向量进行融合操作;层次多粒度图像分类模型的损失函数包括基于类别中心的三元组损失。本申请实施例的方法,增加了网络的局部细节信息,对各类别层次的多粒度特征进行融合,解决了层次间粗细粒度所对应的区域不同的问题,采用基于类别中心的三元组损失增强了图像的特征表示和提升了各层次粒度图像分类准确度。

    一种用于实现高能效存储的基于BERT-RCNN模型抽取特征的数据分类方法

    公开(公告)号:CN116467619A

    公开(公告)日:2023-07-21

    申请号:CN202310206097.0

    申请日:2023-03-06

    Abstract: 本发明涉及存储系统领域中的数据分类存储,通过挖掘数据访问的长周期季节特征,构建深度学习模型,实现数据分类并存储于不同性能的设备,以实现存储系统的高能效存储,包括以下步骤:(一)、对数据访问中的长周期季节特征进行分析;(二)、依据长周期季节特征确定数据类别数目;(三)、构建训练模型用的训练集和测试集;(四)、构建BERT‑RCNN模型抽取数据周期特征并完成分类。(五)、构建存储系统能耗和成本模型,得到分类存储的能耗和成本,以验证方法的有效性。本发明通过构建BERT‑RCNN分类模型,能够更有效地实现数据分类存储,降低存储能耗和成本。

    一种基于矩形可变形卷积的遥感图像目标检测方法

    公开(公告)号:CN117710661B

    公开(公告)日:2025-04-15

    申请号:CN202410009296.7

    申请日:2024-01-04

    Abstract: 本发明公开了一种基于矩形可变形卷积的遥感图像目标检测方法,属于目标检测技术领域,包括利用遥感图像目标检测数据集训练改进的Oriented RCNN模型;其中,设计矩形可变形卷积替换卷积神经网络中的一般卷积,在特征金字塔网络中加入了高级和低级特征融合模块并应用子像素卷积生成高分辨率特征图,删除检测头的两个共享的全连接层并在分类和回归分支分别使用适配网络,得到改进的Oriented RCNN模型;将改进的Oriented RCNN模型用于遥感图像目标检测中。本发明使用了矩形可变形卷积能够更好地适应遥感图像目标的几何变换,特征融合模块用于检索尺度较小的目标。本发明可获得更好的目标检测精度。

    一种基于跨头部协同蒸馏与特征标准化的航拍图像目标检测方法

    公开(公告)号:CN119741625A

    公开(公告)日:2025-04-01

    申请号:CN202411956595.8

    申请日:2024-12-29

    Abstract: 本发明公开了一种基于跨头部协同蒸馏与特征标准化的航拍图像目标检测方法,其特征在于,包括:训练教师网络,得到一个准确度较高的教师网络;随机初始化学生网络,输入图像之后通过特征金字塔结构获取教师和学生网络的多尺度特征;使用特征共享标准化层获取标准化的教师和学生网络的特征,并求特征相关性损失;将学生网络头部特征通过共享标准化层输入跨头部输入教师网络头部,求得预测一致性损失;通过标签获取学生网络的有监督损失;根据反向传播的梯度信息更新学生网络的权重值。本发明可以通过跨头标准化的方法提升目标检测模型蒸馏效果,使较少参数量的目标检测学生网络获得和较大参数的教师模型近似的精度。

Patent Agency Ranking