-
公开(公告)号:CN116468731A
公开(公告)日:2023-07-21
申请号:CN202310215339.2
申请日:2023-03-08
Applicant: 中国矿业大学
Abstract: 一种基于跨模态Transformer的点云语义分割方法,属于语义分割技术领域。方法注重将相机图像密集视觉信息引导到点云语义分割任务中,以完成点云语义分割任务。先将三维点云按照坐标系变换关系统一到相机图像坐标系下,然后透视投影得到三维点云的二维表示,接着计算提取得到多尺度特征图,再进行跨模态注意力融合,将相机图像与投影的点云图像进行特征级融合,最后上采样图像并进行分类,将分类结果根据逆投影变换关系投影到三维点云上即可完成点云语义分割任务。利用Transformer自注意机制来建立跨模态间特征依赖关系,结合图像和点云两个模态的特征信息,增强了模型的特征表达能力,并设计了边界性损失函数,强调语义物体的边界,从而提高了物体分割的边界精度。
-
公开(公告)号:CN111126282B
公开(公告)日:2023-05-12
申请号:CN201911352556.6
申请日:2019-12-25
Applicant: 中国矿业大学
IPC: G06V20/10 , G06V10/80 , G06V10/776 , G06V10/764
Abstract: 本发明公开了一种基于变分自注意力强化学习的遥感图像内容描述方法,属于计算机视觉和自然语言处理的交叉领域;包括:使用遥感图像分类数据集,预训练融合变分自编码器的卷积神经网络;使用预训练的卷积神经网络提取遥感图像的空间特征和语义特征;使用自注意力使空间特征融合上下文信息;使用遥感图像内容描述数据集,使用Transformer解码空间特征和语义特征,融合特征,输出遥感图像内容的文本描述;使用强化学习提升文本描述质量。本发明利用遥感图像分类数据集,融合变分自编码器进行卷积神经网络预训练,使用自注意力机制,特征融合,强化学习,优化了遥感图像内容描述文本的质量。
-
公开(公告)号:CN111062423B
公开(公告)日:2022-04-26
申请号:CN201911201999.5
申请日:2019-11-29
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于自适应特征融合的点云图神经网络的点云分类方法,使用残差结构缓解梯度消失;使用全局特征与局部特征相融合,提升网络性能;使用权重自适应机制指导特征融合;本发明利用图神经网络关注局部特征,点云网络提取全局特征的同时加入残差块,将提取的全局特征与局部特征融合,在特征融合的时候对于不同的特征加入了权重自适应机制,从而优化模型性能。
-
公开(公告)号:CN113705725A
公开(公告)日:2021-11-26
申请号:CN202111079044.4
申请日:2021-09-15
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于多模态信息融合的用户人格特征预测方法和装置,首先收集用户在社交媒体上标注为偏好的图像数据以及相应的评论数据,并利用心理学上的调查问卷获取数值化的用户人格特征;然后利用基于卷积神经网络的物体识别和场景识别方法提取所述偏好图像的视觉特征,同时利用循环神经网络提取相应所述评论的文本特征;再通过构建基于注意力机制的多模态融合模块,将图像和文本两种模态进行特征融合,得到注意力特征图;最后利用深度回归网络把多模态融合后的注意力特征图与数值化的用户人格特征进行建模训练,得到人格特征预测模型;本发明方法和装置的步骤简单明确,易于实现在社交媒体中,且具有较强的预测准确性和稳定性。
-
公开(公告)号:CN110210405B
公开(公告)日:2021-02-19
申请号:CN201910480613.2
申请日:2019-06-04
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于目标追踪的行人搜索样本扩充方法,用目标追踪网络扩充行人搜索网络样本集,通过强化学习决策对行人搜索网络进行优化更新。本发明将行人搜索网络和目标追踪网络相结合,由于行人搜索网络的性质,在进行目标追踪的时候会对丢失的目标进行再搜索,提高目标追踪的效率,这样可以使得目标追踪网络与行人搜索网络相互促进,形成一个良性循环。
-
公开(公告)号:CN109903299B
公开(公告)日:2021-01-05
申请号:CN201910262015.8
申请日:2019-04-02
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置,根据两组异源遥感图像数据,获取训练样本;对输入图像进行图像分割,获得分割图像;构建基于图像分割的条件式生成对抗网络;构建图像块的生成对抗网络;训练两个生成对抗网络;将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性,并提供全尺寸空间信息一致的图像转换解决方案,将异源图像配准问题化简为同源图像配准问题,构建统一的异源遥感图像配准框架。
-
公开(公告)号:CN111898479A
公开(公告)日:2020-11-06
申请号:CN202010673139.8
申请日:2020-07-14
Applicant: 中国矿业大学
Abstract: 本发明公开了基于全卷积单步目标检测算法的口罩佩戴识别方法和装置,属于图像处理技术领域。第一步,创建全卷积单步目标检测模型并初始化,构建数据集;第二步,改进全卷积单步目标检测网络模型,将口罩数据集用于模型的训练,输出训练结果后对全卷积单步目标检测模型迭代训练,调整参数,得到预期的测试效果;第三步,为拓展算法应用范围,将模型部署到人工智能开发板装置。本发明可用于公共场所的人脸口罩佩戴识别,助力疫情防控常态化条件下加快恢复生产生活秩序。
-
公开(公告)号:CN111753786A
公开(公告)日:2020-10-09
申请号:CN202010619125.8
申请日:2020-06-30
Applicant: 中国矿业大学
Abstract: 本发明提出了一种基于全尺度特征融合和轻量级生成式对抗网络的行人重识别方法,属于计算机视觉技术领域。一方面,使用全尺度特征融合网络,提取不同尺度大小的行人图像身份信息特征向量进行融合,得到能兼顾局部特征和整体特征的特征向量。另一方面,采用多种损失函数的融合,同时考虑了身份检测分类、身份信息判别和姿势信息判别,充分利用特征向量,能够大大提高网络模型的泛化能力。
-
公开(公告)号:CN111127493A
公开(公告)日:2020-05-08
申请号:CN201911098961.X
申请日:2019-11-12
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于注意力多尺度特征融合的遥感图像语义分割方法,通过搭建基于注意力多尺度特征融合的语义分割网络,构建训练数据集,采用所述训练数据集进行网络参数训练。在测试时使用训练好的网络对待测数据进行语义分割。所述网络是一种轻量级的编码器-解码器结构。其中引入了图像级联网络的思想,同时利用注意力机制优化编码特征与解码特征,构造出多尺度注意力优化模块、多尺度特征融合模块、边界增强模块,提取和融合不同尺度的特征图,并使用多尺度的语义标签和边界标签指导训练,能够有效进行遥感图像的语义分割。
-
公开(公告)号:CN109978897B
公开(公告)日:2020-05-08
申请号:CN201910279035.6
申请日:2019-04-09
Applicant: 中国矿业大学
Abstract: 本发明公开了一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置,根据两组异源遥感图像数据,获取训练样本;对输入图像进行图像分割,获得分割图像;构建基于图像分割的多尺度生成对抗网络;构建图像块的生成对抗网络;训练两个生成对抗网络;将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性,并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案,将异源图像配准问题化简为同源图像配准问题,构建统一的异源遥感图像配准框架。
-
-
-
-
-
-
-
-
-