一种融合多特征和注意力机制的多模态情感分析方法

    公开(公告)号:CN116028846A

    公开(公告)日:2023-04-28

    申请号:CN202211628659.2

    申请日:2022-12-20

    Abstract: 本发明公开了一种融合多特征和注意力机制的多模态情感分析模型,该模型具体包括以下步骤:通过多模态特征提取模块获得各模态丰富的低层特征;通过自注意力机制实现对三种模态内部信息的提取,获得对应的高层特征;通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互,在空间上实现模态间信息的交互,将学习到的模态内部信息和模态间交互信息进行拼接,得到更加丰富的音频和视频融合特征;最后拼接三种模态的最终表示并传入一个软注意力模块,为三种模态分配不同的权重,通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试,本发明可以有效提升多模态情感分析的准确性。

    一种基于视觉语义信息的图像分类深度学习模型解释方法

    公开(公告)号:CN115601588A

    公开(公告)日:2023-01-13

    申请号:CN202211196793.X

    申请日:2022-09-30

    Abstract: 本发明涉及计算机视觉领域的模型解释方法,特别涉及针对图像分类深度学习模型得到模型可解释性语句,提升模型解释效果,包括以下步骤:计算分类模型神经元置信度分数;利用反向传播推导出对应神经元权重并与置信度相乘作为最终评分找出重要神经元;使用类激活图将重要神经元在图像上的关注区域可视化,提取视觉特征,并用同样方法构建对应类的神经元视觉特征数据集;将视觉特征数据集标注对应语义信息并使用分类网络对其进行训练;使用训练好的分类网络提取重要神经元视觉特征对应的语义信息;结合神经元重要程度分数、视觉特征、语义信息组成描述此模型分类过程的解释性语句。

    一种基于属性信息约束的行人重识别方法

    公开(公告)号:CN120032420A

    公开(公告)日:2025-05-23

    申请号:CN202411966826.3

    申请日:2024-12-30

    Abstract: 本发明提供了一种基于属性信息约束的行人重识别方法,包括如下步骤:提取行人的图像特征及属性特征,基于属性相似度确定图像特征所占权重,并使用重识别和属性识别多任务学习,完成重识别过程。本发明通过设计属性相似度对比损失和属性组查询模块来优化行人重识别性能。属性相似度对比损失最小化相似属性行人样本间的特征距离,最大化不同属性行人样本间的特征距离。属性组查询模块利用Transformer解码器中的交叉注意力机制,自适应地提取行人图像中不同属性间的关联特征,并辅助网络学习更具判别性的行人特征。本发明通过属性信息约束的方法获得了更具有判别力的特征,能够更为准确的进行行人重识别。

    一种基于强交互和细粒度对齐的多模态命名实体识别方法

    公开(公告)号:CN116384394A

    公开(公告)日:2023-07-04

    申请号:CN202310061983.9

    申请日:2023-02-04

    Abstract: 本发明设计自然语言处理领域的多模态实体识别方法,特别涉及针对模态之间信息交互不足,获得更准确的模型间信息相关性,包括以下步骤:将文本按字切分并转为数字标记输入BERT预训练模型,获取最后一层隐藏层向量;将相应的图像信息输入进RESNET模型获得图像隐藏层向量,同时使用目标检测工具识别图像中包含的目标,通过计算实体和图像中目标的相关性,对模态之间的相关性进行判断;通过对比学习的方式拉近文本向量和图像向量的嵌入分布距离,优化文本向量的表示意义;同时开发了一种动态门机制,更好的利用模态间相关性来增强对比学习的效果;在测试集上提取文本特征并进行测试。本发明可以获得表征含义更丰富的文本表示,能够更为有效的提升多模态实体识别的准确性。

    多粒度图像分类方法、装置、电子设备及存储介质

    公开(公告)号:CN119048791A

    公开(公告)日:2024-11-29

    申请号:CN202410210752.4

    申请日:2024-06-14

    Abstract: 本申请公开了一种多粒度图像分类方法、装置、电子设备及存储介质。该分类方法通过层次多粒度图像分类模型实现,该方法包括:获取多尺度信息的特征图;提取并融合不同层次粒度的特征向量,得到各个层次的多尺度融合特征向量;对各个层次的多尺度融合特征向量进行层次特征映射;将映射得到的特征向量与被映射的细粒度特征向量进行融合操作;层次多粒度图像分类模型的损失函数包括基于类别中心的三元组损失。本申请实施例的方法,增加了网络的局部细节信息,对各类别层次的多粒度特征进行融合,解决了层次间粗细粒度所对应的区域不同的问题,采用基于类别中心的三元组损失增强了图像的特征表示和提升了各层次粒度图像分类准确度。

    一种用于实现高能效存储的基于BERT-RCNN模型抽取特征的数据分类方法

    公开(公告)号:CN116467619A

    公开(公告)日:2023-07-21

    申请号:CN202310206097.0

    申请日:2023-03-06

    Abstract: 本发明涉及存储系统领域中的数据分类存储,通过挖掘数据访问的长周期季节特征,构建深度学习模型,实现数据分类并存储于不同性能的设备,以实现存储系统的高能效存储,包括以下步骤:(一)、对数据访问中的长周期季节特征进行分析;(二)、依据长周期季节特征确定数据类别数目;(三)、构建训练模型用的训练集和测试集;(四)、构建BERT‑RCNN模型抽取数据周期特征并完成分类。(五)、构建存储系统能耗和成本模型,得到分类存储的能耗和成本,以验证方法的有效性。本发明通过构建BERT‑RCNN分类模型,能够更有效地实现数据分类存储,降低存储能耗和成本。

    一种基于矩形可变形卷积的遥感图像目标检测方法

    公开(公告)号:CN117710661B

    公开(公告)日:2025-04-15

    申请号:CN202410009296.7

    申请日:2024-01-04

    Abstract: 本发明公开了一种基于矩形可变形卷积的遥感图像目标检测方法,属于目标检测技术领域,包括利用遥感图像目标检测数据集训练改进的Oriented RCNN模型;其中,设计矩形可变形卷积替换卷积神经网络中的一般卷积,在特征金字塔网络中加入了高级和低级特征融合模块并应用子像素卷积生成高分辨率特征图,删除检测头的两个共享的全连接层并在分类和回归分支分别使用适配网络,得到改进的Oriented RCNN模型;将改进的Oriented RCNN模型用于遥感图像目标检测中。本发明使用了矩形可变形卷积能够更好地适应遥感图像目标的几何变换,特征融合模块用于检索尺度较小的目标。本发明可获得更好的目标检测精度。

Patent Agency Ranking