-
公开(公告)号:CN116028846A
公开(公告)日:2023-04-28
申请号:CN202211628659.2
申请日:2022-12-20
Applicant: 北京信息科技大学
IPC: G06F18/24 , G06F18/25 , G10L15/16 , G06V10/82 , G06V20/40 , G06N3/0455 , G06N3/0442
Abstract: 本发明公开了一种融合多特征和注意力机制的多模态情感分析模型,该模型具体包括以下步骤:通过多模态特征提取模块获得各模态丰富的低层特征;通过自注意力机制实现对三种模态内部信息的提取,获得对应的高层特征;通过跨模态注意力机制分别实现音频‑文本和视频‑文本的交互,在空间上实现模态间信息的交互,将学习到的模态内部信息和模态间交互信息进行拼接,得到更加丰富的音频和视频融合特征;最后拼接三种模态的最终表示并传入一个软注意力模块,为三种模态分配不同的权重,通过全连接层实现多模态情感分类结果。在公开数据集CH‑SIMS上进行测试,本发明可以有效提升多模态情感分析的准确性。
-
公开(公告)号:CN115601588A
公开(公告)日:2023-01-13
申请号:CN202211196793.X
申请日:2022-09-30
Applicant: 北京信息科技大学(CN)
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明涉及计算机视觉领域的模型解释方法,特别涉及针对图像分类深度学习模型得到模型可解释性语句,提升模型解释效果,包括以下步骤:计算分类模型神经元置信度分数;利用反向传播推导出对应神经元权重并与置信度相乘作为最终评分找出重要神经元;使用类激活图将重要神经元在图像上的关注区域可视化,提取视觉特征,并用同样方法构建对应类的神经元视觉特征数据集;将视觉特征数据集标注对应语义信息并使用分类网络对其进行训练;使用训练好的分类网络提取重要神经元视觉特征对应的语义信息;结合神经元重要程度分数、视觉特征、语义信息组成描述此模型分类过程的解释性语句。
-
公开(公告)号:CN112418182A
公开(公告)日:2021-02-26
申请号:CN202011470737.1
申请日:2020-12-15
Applicant: 北京信息科技大学
Abstract: 本申请公开了一种红外影厅图像人数统计方法,包括:对红外影厅图像进行预处理;针对预处理后的图像,提取前景图像;根据随机采样的数据进行拟合,根据拟合结果进行校正,计算前景面积;建立所述前景面积与人数的线性回归关系,计算人数。本申请的方法,将多个影厅的原图与其前景图像进行端到端训练,实现不同影厅图像的前景提取,再结合改进透视效应校正方法,提取前景面积并建立其与人数的回归关系,得到最终人数统计结果,本申请实施例提供的方法提取效果好,分类准确率、召回率及前景准确率较高,假正率和假负率较低,无论是在人群稀疏还是密集场景,均能够得到较好的前景提取效果,增强了算法对不同场景、不同光线的鲁棒性。
-
公开(公告)号:CN117710661B
公开(公告)日:2025-04-15
申请号:CN202410009296.7
申请日:2024-01-04
Applicant: 北京信息科技大学
Abstract: 本发明公开了一种基于矩形可变形卷积的遥感图像目标检测方法,属于目标检测技术领域,包括利用遥感图像目标检测数据集训练改进的Oriented RCNN模型;其中,设计矩形可变形卷积替换卷积神经网络中的一般卷积,在特征金字塔网络中加入了高级和低级特征融合模块并应用子像素卷积生成高分辨率特征图,删除检测头的两个共享的全连接层并在分类和回归分支分别使用适配网络,得到改进的Oriented RCNN模型;将改进的Oriented RCNN模型用于遥感图像目标检测中。本发明使用了矩形可变形卷积能够更好地适应遥感图像目标的几何变换,特征融合模块用于检索尺度较小的目标。本发明可获得更好的目标检测精度。
-
公开(公告)号:CN119741625A
公开(公告)日:2025-04-01
申请号:CN202411956595.8
申请日:2024-12-29
Applicant: 北京信息科技大学
Abstract: 本发明公开了一种基于跨头部协同蒸馏与特征标准化的航拍图像目标检测方法,其特征在于,包括:训练教师网络,得到一个准确度较高的教师网络;随机初始化学生网络,输入图像之后通过特征金字塔结构获取教师和学生网络的多尺度特征;使用特征共享标准化层获取标准化的教师和学生网络的特征,并求特征相关性损失;将学生网络头部特征通过共享标准化层输入跨头部输入教师网络头部,求得预测一致性损失;通过标签获取学生网络的有监督损失;根据反向传播的梯度信息更新学生网络的权重值。本发明可以通过跨头标准化的方法提升目标检测模型蒸馏效果,使较少参数量的目标检测学生网络获得和较大参数的教师模型近似的精度。
-
公开(公告)号:CN117710661A
公开(公告)日:2024-03-15
申请号:CN202410009296.7
申请日:2024-01-04
Applicant: 北京信息科技大学
IPC: G06V10/25 , G06V20/10 , G06V10/80 , G06V10/52 , G06V10/44 , G06V10/764 , G06V10/766 , G06V10/774 , G06V10/776 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/084 , G06N3/048
Abstract: 本发明公开了一种基于矩形可变形卷积的遥感图像目标检测方法,属于目标检测技术领域,包括利用遥感图像目标检测数据集训练改进的Oriented RCNN模型;其中,设计矩形可变形卷积替换卷积神经网络中的一般卷积,在特征金字塔网络中加入了高级和低级特征融合模块并应用子像素卷积生成高分辨率特征图,删除检测头的两个共享的全连接层并在分类和回归分支分别使用适配网络,得到改进的Oriented RCNN模型;将改进的Oriented RCNN模型用于遥感图像目标检测中。本发明使用了矩形可变形卷积能够更好地适应遥感图像目标的几何变换,特征融合模块用于检索尺度较小的目标。本发明可获得更好的目标检测精度。
-
公开(公告)号:CN116384402A
公开(公告)日:2023-07-04
申请号:CN202310415757.6
申请日:2023-04-18
Applicant: 华能煤炭技术研究有限公司 , 北京信息科技大学
IPC: G06F40/295 , G06F40/30 , G06F40/242 , G06F16/36 , G06F16/35 , G06N3/0442 , G06N3/08 , G06N3/084
Abstract: 本发明涉及煤矿机电设备领域,特别涉及一种融合机电设备本体库术语词结合对比学习的煤矿机电设备命名实体识别方法。该方法首先使用Word2Vec模型预训练机电设备术语词向量,并利用多术语多头注意力机制将术语词向量与字向量融合。然后采用Bi‑LSTM模型进行编码,在损失函数上采用对比学习做改进,将Bi‑LSTM计算的相对熵损失作为CRF损失的正则项。最后,利用CRF模型解码得到最优标签。实验结果表明,该方法在自构的煤矿机电设备语料上的准确率、召回率和F1值均优于现有主流方法。本发明的技术方案可以有效地识别煤矿机电设备领域中存在实体命名相似以及部分重点设备名称较长的问题,为智能矿山的构建提供了有力的支持。
-
公开(公告)号:CN115952802A
公开(公告)日:2023-04-11
申请号:CN202211001912.1
申请日:2022-08-21
Applicant: 华能煤炭技术研究有限公司 , 北京信息科技大学
IPC: G06F40/30 , G06F16/332 , G06F16/35 , G06N3/045 , G06N3/08
Abstract: 本发明涉及自然语言处理领域的文本处理方法,提升现有基于切分等方式处理长文本会产生信息丢失的不足,包括以下步骤:将文本按句子切分成多段内容;将每句话以[CLS]句子[SEP]的形式传入BERT预训练语言模型,获取最后一层隐藏层向量以及[CLS]对应向量;使用词注意力机制获得句子向量;获得原文所有句子的句子向量并拼接,以[SCLS]向量的形式传入transformer模型,获取最后一层隐藏层向量以及[SCLS]对应向量;使用句注意力机制获得文本向量;训练检索网络模型并更新参数,在测试集上提取文本特征并进行测试。本发明可获得更好的处理长文本,能够更为有效的提升长文本分类准确性,并且复杂度更低。
-
公开(公告)号:CN116384394A
公开(公告)日:2023-07-04
申请号:CN202310061983.9
申请日:2023-02-04
Applicant: 北京信息科技大学
IPC: G06F40/295 , G06F18/22 , G06F18/25 , G06V10/82 , G06N7/01 , G06N3/0464 , G06N3/0442 , G06N3/045
Abstract: 本发明设计自然语言处理领域的多模态实体识别方法,特别涉及针对模态之间信息交互不足,获得更准确的模型间信息相关性,包括以下步骤:将文本按字切分并转为数字标记输入BERT预训练模型,获取最后一层隐藏层向量;将相应的图像信息输入进RESNET模型获得图像隐藏层向量,同时使用目标检测工具识别图像中包含的目标,通过计算实体和图像中目标的相关性,对模态之间的相关性进行判断;通过对比学习的方式拉近文本向量和图像向量的嵌入分布距离,优化文本向量的表示意义;同时开发了一种动态门机制,更好的利用模态间相关性来增强对比学习的效果;在测试集上提取文本特征并进行测试。本发明可以获得表征含义更丰富的文本表示,能够更为有效的提升多模态实体识别的准确性。
-
公开(公告)号:CN115862020A
公开(公告)日:2023-03-28
申请号:CN202211526486.3
申请日:2022-12-01
Applicant: 北京信息科技大学
IPC: G06V30/142 , G06F16/24
Abstract: 本发明提供一种实时的全自动双轮毂字符识别系统,能够自动识别轮毂双侧内容并存储,对模糊和有污渍的数据具有较高的识别率。所述系统包括:轮毂装置、plc(可编程逻辑控制器)、图像采集设备、工控机。轮毂装置包括轮毂和车轨,轮毂为待识别物体位于车轨上方;plc配备传感器用于检测轮毂是否到位和控制系统拍照;图像采集设备由相机、光源和灯罩组成,用于获取轮毂双侧的数据;工控机安装GPU和应用程序;应用程序包括通信模块、识别模块、展示和存储等模块。所述工控机连接plc和相机设备,程序接受到plc拍照信号后启动相机拍照,对采集的图片进行识别,分析识别结果用于展示和存储。本发明适用于工业自动化及目标检测技术领域。
-
-
-
-
-
-
-
-
-