一种融合多特征和注意力机制的多模态情感分析方法

    公开(公告)号:CN116028846A

    公开(公告)日:2023-04-28

    申请号:CN202211628659.2

    申请日:2022-12-20

    Abstract: 本发明公开了一种融合多特征和注意力机制的多模态情感分析模型,该模型具体包括以下步骤:通过多模态特征提取模块获得各模态丰富的低层特征;通过自注意力机制实现对三种模态内部信息的提取,获得对应的高层特征;通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互,在空间上实现模态间信息的交互,将学习到的模态内部信息和模态间交互信息进行拼接,得到更加丰富的音频和视频融合特征;最后拼接三种模态的最终表示并传入一个软注意力模块,为三种模态分配不同的权重,通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试,本发明可以有效提升多模态情感分析的准确性。

    一种基于视觉语义信息的图像分类深度学习模型解释方法

    公开(公告)号:CN115601588A

    公开(公告)日:2023-01-13

    申请号:CN202211196793.X

    申请日:2022-09-30

    Abstract: 本发明涉及计算机视觉领域的模型解释方法,特别涉及针对图像分类深度学习模型得到模型可解释性语句,提升模型解释效果,包括以下步骤:计算分类模型神经元置信度分数;利用反向传播推导出对应神经元权重并与置信度相乘作为最终评分找出重要神经元;使用类激活图将重要神经元在图像上的关注区域可视化,提取视觉特征,并用同样方法构建对应类的神经元视觉特征数据集;将视觉特征数据集标注对应语义信息并使用分类网络对其进行训练;使用训练好的分类网络提取重要神经元视觉特征对应的语义信息;结合神经元重要程度分数、视觉特征、语义信息组成描述此模型分类过程的解释性语句。

    红外影厅图像人数统计方法

    公开(公告)号:CN112418182A

    公开(公告)日:2021-02-26

    申请号:CN202011470737.1

    申请日:2020-12-15

    Abstract: 本申请公开了一种红外影厅图像人数统计方法,包括:对红外影厅图像进行预处理;针对预处理后的图像,提取前景图像;根据随机采样的数据进行拟合,根据拟合结果进行校正,计算前景面积;建立所述前景面积与人数的线性回归关系,计算人数。本申请的方法,将多个影厅的原图与其前景图像进行端到端训练,实现不同影厅图像的前景提取,再结合改进透视效应校正方法,提取前景面积并建立其与人数的回归关系,得到最终人数统计结果,本申请实施例提供的方法提取效果好,分类准确率、召回率及前景准确率较高,假正率和假负率较低,无论是在人群稀疏还是密集场景,均能够得到较好的前景提取效果,增强了算法对不同场景、不同光线的鲁棒性。

    一种基于矩形可变形卷积的遥感图像目标检测方法

    公开(公告)号:CN117710661B

    公开(公告)日:2025-04-15

    申请号:CN202410009296.7

    申请日:2024-01-04

    Abstract: 本发明公开了一种基于矩形可变形卷积的遥感图像目标检测方法,属于目标检测技术领域,包括利用遥感图像目标检测数据集训练改进的Oriented RCNN模型;其中,设计矩形可变形卷积替换卷积神经网络中的一般卷积,在特征金字塔网络中加入了高级和低级特征融合模块并应用子像素卷积生成高分辨率特征图,删除检测头的两个共享的全连接层并在分类和回归分支分别使用适配网络,得到改进的Oriented RCNN模型;将改进的Oriented RCNN模型用于遥感图像目标检测中。本发明使用了矩形可变形卷积能够更好地适应遥感图像目标的几何变换,特征融合模块用于检索尺度较小的目标。本发明可获得更好的目标检测精度。

    一种基于跨头部协同蒸馏与特征标准化的航拍图像目标检测方法

    公开(公告)号:CN119741625A

    公开(公告)日:2025-04-01

    申请号:CN202411956595.8

    申请日:2024-12-29

    Abstract: 本发明公开了一种基于跨头部协同蒸馏与特征标准化的航拍图像目标检测方法,其特征在于,包括:训练教师网络,得到一个准确度较高的教师网络;随机初始化学生网络,输入图像之后通过特征金字塔结构获取教师和学生网络的多尺度特征;使用特征共享标准化层获取标准化的教师和学生网络的特征,并求特征相关性损失;将学生网络头部特征通过共享标准化层输入跨头部输入教师网络头部,求得预测一致性损失;通过标签获取学生网络的有监督损失;根据反向传播的梯度信息更新学生网络的权重值。本发明可以通过跨头标准化的方法提升目标检测模型蒸馏效果,使较少参数量的目标检测学生网络获得和较大参数的教师模型近似的精度。

    一种基于强交互和细粒度对齐的多模态命名实体识别方法

    公开(公告)号:CN116384394A

    公开(公告)日:2023-07-04

    申请号:CN202310061983.9

    申请日:2023-02-04

    Abstract: 本发明设计自然语言处理领域的多模态实体识别方法,特别涉及针对模态之间信息交互不足,获得更准确的模型间信息相关性,包括以下步骤:将文本按字切分并转为数字标记输入BERT预训练模型,获取最后一层隐藏层向量;将相应的图像信息输入进RESNET模型获得图像隐藏层向量,同时使用目标检测工具识别图像中包含的目标,通过计算实体和图像中目标的相关性,对模态之间的相关性进行判断;通过对比学习的方式拉近文本向量和图像向量的嵌入分布距离,优化文本向量的表示意义;同时开发了一种动态门机制,更好的利用模态间相关性来增强对比学习的效果;在测试集上提取文本特征并进行测试。本发明可以获得表征含义更丰富的文本表示,能够更为有效的提升多模态实体识别的准确性。

    一种实时的全自动双轮毂字符识别系统

    公开(公告)号:CN115862020A

    公开(公告)日:2023-03-28

    申请号:CN202211526486.3

    申请日:2022-12-01

    Abstract: 本发明提供一种实时的全自动双轮毂字符识别系统,能够自动识别轮毂双侧内容并存储,对模糊和有污渍的数据具有较高的识别率。所述系统包括:轮毂装置、plc(可编程逻辑控制器)、图像采集设备、工控机。轮毂装置包括轮毂和车轨,轮毂为待识别物体位于车轨上方;plc配备传感器用于检测轮毂是否到位和控制系统拍照;图像采集设备由相机、光源和灯罩组成,用于获取轮毂双侧的数据;工控机安装GPU和应用程序;应用程序包括通信模块、识别模块、展示和存储等模块。所述工控机连接plc和相机设备,程序接受到plc拍照信号后启动相机拍照,对采集的图片进行识别,分析识别结果用于展示和存储。本发明适用于工业自动化及目标检测技术领域。

Patent Agency Ranking