公开(公告)号：CN113223068B

公开(公告)日：2024-02-02

申请号：CN202110605164.7

申请日：2021-05-31

申请人： 西安电子科技大学

发明人： 王爽 ,  雷睿琪 ,  李毅 ,  魏慧媛 ,  权豆 ,  杨博武 ,  段宝瑞 ,  焦李成

IPC分类号： G06T7/33 ,  G06V10/74 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于深度全局特征的多模态图像配准方法及系统，准备数据集并制作；制作数据集；图像预处理；设计全卷积孪生网络结构；提取图像特征；获取相似性得分图，基于相似性得分图，使用对比损失函数优化相似度得分图，使用峰值损失函数来加快收敛速度，使用排序损失函数使得正样本的相似度分布接近真实分布；联合优化对比损失、排序损失和峰值损失，将训练好的权重载入到模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数；确定浮动图在基准图上的位置，实现多模态图像配。本发明通过深入挖掘异源图像底层的共有特性可以获得高精度的匹配结果。

公开(公告)号：CN110659680A

公开(公告)日：2020-01-07

申请号：CN201910872936.6

申请日：2019-09-16

申请人： 西安电子科技大学

发明人： 王爽 ,  焦李成 ,  魏少玮 ,  方帅 ,  杨博武 ,  李彦锋 ,  权豆

IPC分类号： G06K9/62 ,  G06K9/46

摘要： 本发明公开了一种基于多尺度卷积的图像patch匹配方法，通过准备数据集；制作数据集；数据预处理；设计三分支-双通道网络结构；设计多尺度卷积模块；根据提取的特征计算相似性；网络训练；预测匹配概率；评估网络性能。本发明有效克服了现有技术中训练不充分、没有使用多尺度信息等问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明可应用于图像配准、图像检索、图像追踪、多视角重建等领域。

公开(公告)号：CN113221923B

公开(公告)日：2023-02-24

申请号：CN202110605524.3

申请日：2021-05-31

申请人： 西安电子科技大学

发明人： 王爽 ,  魏慧媛 ,  李毅 ,  段宝瑞 ,  权豆 ,  雷睿琪 ,  杨博武 ,  焦李成

IPC分类号： G06V10/74 ,  G06V10/50 ,  G06V10/46 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/06 ,  G06N3/0455 ,  G06N3/08

摘要： 本发明公开了一种用于多模态图像块匹配的特征分解方法及系统，通过制作异源图像块数据集；图像预处理；用编码器进行特征提取；特征分解；用解码器重构图像块；判别器；网络优化；预测匹配概率；最后评估网络性能表明，将图像块的特征分解为公共特征和私有特征，引入对抗训练优化编码器，利用重构损失来保证编码器能够提取信息性特征，基于公共特征和私有特征对原始图像进行重构，获得最终的图像块匹配结果。本发明利用四个损失函数联合优化，不仅极大的提高了异源图像匹配的准确率，而且缩短了网络的训练周期。

公开(公告)号：CN110659680B

公开(公告)日：2022-02-11

申请号：CN201910872936.6

申请日：2019-09-16

申请人： 西安电子科技大学

发明人： 王爽 ,  焦李成 ,  魏少玮 ,  方帅 ,  杨博武 ,  李彦锋 ,  权豆

IPC分类号： G06K9/62 ,  G06V10/46

摘要： 本发明公开了一种基于多尺度卷积的图像patch匹配方法，通过准备数据集；制作数据集；数据预处理；设计三分支‑双通道网络结构；设计多尺度卷积模块；根据提取的特征计算相似性；网络训练；预测匹配概率；评估网络性能。本发明有效克服了现有技术中训练不充分、没有使用多尺度信息等问题，极大的提高了网络的性能，提升了网络的训练效率，增强了网络的鲁棒性。本发明可应用于图像配准、图像检索、图像追踪、多视角重建等领域。

公开(公告)号：CN113221923A

公开(公告)日：2021-08-06

申请号：CN202110605524.3

申请日：2021-05-31

申请人： 西安电子科技大学

发明人： 王爽 ,  魏慧媛 ,  李毅 ,  段宝瑞 ,  权豆 ,  雷睿琪 ,  杨博武 ,  焦李成

IPC分类号： G06K9/46 ,  G06N3/04 ,  G06N3/06 ,  G06N3/08

摘要： 本发明公开了一种用于多模态图像块匹配的特征分解方法及系统，通过制作异源图像块数据集；图像预处理；用编码器进行特征提取；特征分解；用解码器重构图像块；判别器；网络优化；预测匹配概率；最后评估网络性能表明，将图像块的特征分解为公共特征和私有特征，引入对抗训练优化编码器，利用重构损失来保证编码器能够提取信息性特征，基于公共特征和私有特征对原始图像进行重构，获得最终的图像块匹配结果。本发明利用四个损失函数联合优化，不仅极大的提高了异源图像匹配的准确率，而且缩短了网络的训练周期。

公开(公告)号：CN113223068A

公开(公告)日：2021-08-06

申请号：CN202110605164.7

申请日：2021-05-31

申请人： 西安电子科技大学

发明人： 王爽 ,  雷睿琪 ,  李毅 ,  魏慧媛 ,  权豆 ,  杨博武 ,  段宝瑞 ,  焦李成

IPC分类号： G06T7/33 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种基于深度全局特征的多模态图像配准方法及系统，准备数据集并制作；制作数据集；图像预处理；设计全卷积孪生网络结构；提取图像特征；获取相似性得分图，基于相似性得分图，使用对比损失函数优化相似度得分图，使用峰值损失函数来加快收敛速度，使用排序损失函数使得正样本的相似度分布接近真实分布；联合优化对比损失、排序损失和峰值损失，将训练好的权重载入到模型中，并依次读取所有测试集数据，预测测试集中浮动图在基准图中的平移参数；确定浮动图在基准图上的位置，实现多模态图像配。本发明通过深入挖掘异源图像底层的共有特性可以获得高精度的匹配结果。