一种基于多模态注意与自适应融合的遥感图像语义分割方法

    公开(公告)号:CN110929696A

    公开(公告)日:2020-03-27

    申请号:CN201911291168.1

    申请日:2019-12-16

    Abstract: 本发明公开了一种基于多模态注意与自适应融合的遥感图像语义分割方法,属于计算机视觉领域。具体包括:1)使用遥感图像多模态数据集,包括数据处理后的遥感图像及对应的深度图构建双流的语义分割网络;2)分别对输入图像提取不同尺度的特征,将获取的特征进行多层的自适应特征融合;3)使用多模态注意力机制对网络解码器部分的输入特征与编码器特征进行丰富语义信息的提取,关注相似的像素点。本发明利用多模态的遥感数据集,处理图像数据,结合双流网络结构,自适应融合提取的特征,并使用多模态注意力机制关注融合特征与编码特征,从而优化模型性能。

    一种环形生成对抗网络的异源遥感图像配准方法及装置

    公开(公告)号:CN109993782A

    公开(公告)日:2019-07-09

    申请号:CN201910261455.1

    申请日:2019-04-02

    Abstract: 本发明公开了一种基于图像分割的环形生成对抗网络的异源遥感图像配准方法及装置,根据两组异源遥感图像数据,获取训练样本;对输入图像进行图像分割,获得分割图像;构建基于图像分割的环形生成对抗网络;构建图像块的生成对抗网络;训练两个生成对抗网络;将生成图像与待配准图像进行同源图像配准。针对非匹配的异源遥感数据,本发明能够约束生成对抗网络生成图像的空间信息一致性,并提供全尺寸空间信息一致的图像转换解决方案,将异源图像配准问题化简为同源图像配准问题,构建统一的异源遥感图像配准框架。

    一种生成式图像先验的场景文字图像超分辨方法

    公开(公告)号:CN119941509A

    公开(公告)日:2025-05-06

    申请号:CN202510014159.7

    申请日:2025-01-06

    Abstract: 本发明公开了一种生成式图像先验的场景文字图像超分辨方法,该方法包含两个阶段;第一个阶段,构建一个基于多模态的扩散模型,使用GPT模型从低分辨率文字图像中获得特定的文本信息,生成高分辨率图像先验;第二个阶段,构建一个ITPGDM模型,通过高分辨率图像先验和文字识别先验重构高分辨率文字图像,ITPGDM模型包括PSAB模块和CFAB模块,PSAB模块用于将不同先验信息对齐,CFAB模块用于细化字符级特征;所述ITPGDM模型表示基于图像和文本先验引导的场景文本图片超分辨扩散模型,PSAB模块表示先验语义对齐模块,CFAB模块表示字符关注模块。本发明方法充分利用了扩散模型和GPT模型的强大优势,并使用多先验语义对齐模块和字符关注模块增强场景文字图像超分辨的能力。

    一种基于属性感知关系推理的通用图像美学评估方法和装置

    公开(公告)号:CN114429460B

    公开(公告)日:2025-04-18

    申请号:CN202210080621.X

    申请日:2022-01-24

    Abstract: 本发明公开了一种基于属性感知关系推理的通用图像美学评估方法和装置,用于提高通用图像美学评估模型的准确性。本发明首先利用卷积神经网络构建特征提取器,得到图像的全局特征图;并在全局特征图的基础上,通过学习图像的美学属性来生成属性感知特征图;然后利用自注意力机制构建属性关系推理模块,并进一步得到美学属性的关系特征图;最后把全局特征图、美学属性特征和属性关系特征图进行特征联合,同时对图像的美学分布进行建模预测;最终通过计算把美学分布转化成图像的通用美学分数;本发明可有效地评估待测试图像的通用美学分数,准确率高,并且本发明可以有效地筛选出符合大众审美的图像,易于应用在图像检索和图像增强等技术中。

    基于图像混合和原型对比的跨域遥感图像语义分割方法

    公开(公告)号:CN119832248A

    公开(公告)日:2025-04-15

    申请号:CN202510024337.4

    申请日:2025-01-07

    Abstract: 本发明公开基于图像混合和原型对比的跨域遥感图像语义分割方法,将目标域图像输入跨域遥感图像语义分割模型,输出置信度;训练完成跨域遥感图像语义分割模型包括:对具有标签的源域图像和没有标签的目标域图像进行预处理;通过自适应混合策略对预处理后源域图像和目标域图像进行混合,获得混合图像;提取源域图像和目标域图像的语义特征,通过原型对比学习对齐源域和目标域的语义特征;利用混合图像、源域图像和置信度对基于语义分割框架Segformer的跨域遥感图像语义分割模型进行训练。本发明通过混合策略有效地利用了源域和目标域之间的信息交互,更好地帮助模型去学习不同域之间相同类别的语义特征。

    一种基于双流视觉提示的高光谱目标跟踪方法

    公开(公告)号:CN117994282A

    公开(公告)日:2024-05-07

    申请号:CN202410192605.9

    申请日:2024-02-21

    Abstract: 本发明公开了一种基于双流视觉提示的高光谱目标跟踪方法,先通过CIE颜色匹配函数和波段选择模块对输入的两帧高光谱图像进行初始预处理操作得到三组图像,经裁剪并切块,输入到嵌入层以获得基础令牌和提示令牌;这些令牌进入双流视觉提示器,通过初始互相关提示层和后续互相关提示层生成有效的视觉提示,各互相关提示层中的提示生成模块用于增强并融合基础信息流、光谱信息流、时空信息流。然后将视觉提示流与基础信息流进行逐元素相加输入骨干网络实现特征提取和交互。最后冻结主干参数,微调部分参数,利用损失函数进行模型训练。本发明方法利用光谱模态提示信息和时空模态提示信息增强了基础模态的表达能力并能充分发挥提示学习的优势。

    一种时空部件图的视频目标分割方法

    公开(公告)号:CN111652899B

    公开(公告)日:2023-11-14

    申请号:CN202010475318.0

    申请日:2020-05-29

    Abstract: 一种时空部件图的视频目标分割方法,首先使用孪生编码模型,分两个分支:一个分支输入历史帧和掩模捕获序列的动态特征,另一个分支输入当前帧图像和前一帧的分割掩模。其次,构建时空部件图,使用图卷积网络,学习时空特征,增强目标的外观和运动模型;并引入通道注意模块,把鲁棒的时空目标模型输出到解码模块。最后,设计平滑精细模块,结合相邻阶段的多尺度图像特征,从时空信息中分割出目标。本发明时空部件图模型可生成鲁棒目标外观和运动特征,解决目标遮挡、快速变化及背景杂波问题,进而缓解目标外观变化而导致的视觉目标漂移问题,同时能够提高视频目标分割的性能。

Patent Agency Ranking