基于跨模态Transformer的点云语义分割方法

    公开(公告)号:CN116468731A

    公开(公告)日:2023-07-21

    申请号:CN202310215339.2

    申请日:2023-03-08

    Abstract: 一种基于跨模态Transformer的点云语义分割方法,属于语义分割技术领域。方法注重将相机图像密集视觉信息引导到点云语义分割任务中,以完成点云语义分割任务。先将三维点云按照坐标系变换关系统一到相机图像坐标系下,然后透视投影得到三维点云的二维表示,接着计算提取得到多尺度特征图,再进行跨模态注意力融合,将相机图像与投影的点云图像进行特征级融合,最后上采样图像并进行分类,将分类结果根据逆投影变换关系投影到三维点云上即可完成点云语义分割任务。利用Transformer自注意机制来建立跨模态间特征依赖关系,结合图像和点云两个模态的特征信息,增强了模型的特征表达能力,并设计了边界性损失函数,强调语义物体的边界,从而提高了物体分割的边界精度。

    一种基于变分自注意力强化学习的遥感图像内容描述方法

    公开(公告)号:CN111126282B

    公开(公告)日:2023-05-12

    申请号:CN201911352556.6

    申请日:2019-12-25

    Abstract: 本发明公开了一种基于变分自注意力强化学习的遥感图像内容描述方法,属于计算机视觉和自然语言处理的交叉领域;包括:使用遥感图像分类数据集,预训练融合变分自编码器的卷积神经网络;使用预训练的卷积神经网络提取遥感图像的空间特征和语义特征;使用自注意力使空间特征融合上下文信息;使用遥感图像内容描述数据集,使用Transformer解码空间特征和语义特征,融合特征,输出遥感图像内容的文本描述;使用强化学习提升文本描述质量。本发明利用遥感图像分类数据集,融合变分自编码器进行卷积神经网络预训练,使用自注意力机制,特征融合,强化学习,优化了遥感图像内容描述文本的质量。

    一种基于多模态信息融合的用户人格特征预测方法和装置

    公开(公告)号:CN113705725A

    公开(公告)日:2021-11-26

    申请号:CN202111079044.4

    申请日:2021-09-15

    Abstract: 本发明公开了一种基于多模态信息融合的用户人格特征预测方法和装置,首先收集用户在社交媒体上标注为偏好的图像数据以及相应的评论数据,并利用心理学上的调查问卷获取数值化的用户人格特征;然后利用基于卷积神经网络的物体识别和场景识别方法提取所述偏好图像的视觉特征,同时利用循环神经网络提取相应所述评论的文本特征;再通过构建基于注意力机制的多模态融合模块,将图像和文本两种模态进行特征融合,得到注意力特征图;最后利用深度回归网络把多模态融合后的注意力特征图与数值化的用户人格特征进行建模训练,得到人格特征预测模型;本发明方法和装置的步骤简单明确,易于实现在社交媒体中,且具有较强的预测准确性和稳定性。

    一种条件式生成对抗网络的异源遥感图像配准方法及装置

    公开(公告)号:CN109903299B

    公开(公告)日:2021-01-05

    申请号:CN201910262015.8

    申请日:2019-04-02

    Abstract: 本发明公开了一种基于图像分割的条件式生成对抗网络的异源遥感图像配准方法及装置,根据两组异源遥感图像数据,获取训练样本;对输入图像进行图像分割,获得分割图像;构建基于图像分割的条件式生成对抗网络;构建图像块的生成对抗网络;训练两个生成对抗网络;将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性,并提供全尺寸空间信息一致的图像转换解决方案,将异源图像配准问题化简为同源图像配准问题,构建统一的异源遥感图像配准框架。

    基于注意力多尺度特征融合的遥感图像语义分割方法

    公开(公告)号:CN111127493A

    公开(公告)日:2020-05-08

    申请号:CN201911098961.X

    申请日:2019-11-12

    Abstract: 本发明公开了一种基于注意力多尺度特征融合的遥感图像语义分割方法,通过搭建基于注意力多尺度特征融合的语义分割网络,构建训练数据集,采用所述训练数据集进行网络参数训练。在测试时使用训练好的网络对待测数据进行语义分割。所述网络是一种轻量级的编码器-解码器结构。其中引入了图像级联网络的思想,同时利用注意力机制优化编码特征与解码特征,构造出多尺度注意力优化模块、多尺度特征融合模块、边界增强模块,提取和融合不同尺度的特征图,并使用多尺度的语义标签和边界标签指导训练,能够有效进行遥感图像的语义分割。

    一种多尺度生成对抗网络的异源遥感图像配准方法及装置

    公开(公告)号:CN109978897B

    公开(公告)日:2020-05-08

    申请号:CN201910279035.6

    申请日:2019-04-09

    Abstract: 本发明公开了一种基于图像分割的多尺度生成对抗网络的异源遥感图像配准方法及装置,根据两组异源遥感图像数据,获取训练样本;对输入图像进行图像分割,获得分割图像;构建基于图像分割的多尺度生成对抗网络;构建图像块的生成对抗网络;训练两个生成对抗网络;将生成图像与待配准图像进行同源图像配准。本发明能够约束生成对抗网络生成图像的空间信息一致性,并提供全尺寸、高分辨率、空间信息一致的图像转换解决方案,将异源图像配准问题化简为同源图像配准问题,构建统一的异源遥感图像配准框架。

Patent Agency Ranking