公开(公告)号：CN117851631A

公开(公告)日：2024-04-09

申请号：CN202311557811.7

申请日：2023-11-21

申请人： 自然资源陕西省卫星应用技术中心 ,  西安电子科技大学

发明人： 谢涛 ,  付垒 ,  陶建伟 ,  郭超 ,  张耘峰 ,  杨瑞 ,  张欢 ,  王爽

IPC分类号： G06F16/583 ,  G06F16/532 ,  G06F40/30 ,  G06F18/213 ,  G06F18/25 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094

摘要： 本发明公开了一种基于特征解耦的持续遥感图像文本检索方法及装置，该方法包括：接收检索信息，检索信息包括遥感图像和检索文本，将检索信息输入至一检索特征生成模型，以使检索特征生成模型根据检索信息生成对应的检索特征，然后利用检索特征进行检索。在本申请方案中，因多个任务分支之间共享一公有特征提取模块，公有特征提取模块可以从检索信息中提取多个任务分支之间共享的图像公有特征和文本公有特征，也就是说图像公有特征和文本公有特征可以用于处理多个任务，是可以共享的信息，因此通过本申请方案可以避免数据信息的灾难性遗忘，平衡了多任务跨模态检索的稳定性和适应性。

公开(公告)号：CN118690034A

公开(公告)日：2024-09-24

申请号：CN202410829745.2

申请日：2024-06-25

申请人： 西安电子科技大学

发明人： 杨瑞 ,  王爽 ,  李沅恒 ,  韩迎萍 ,  陶建伟 ,  权豆 ,  杨志 ,  朱宗卫

IPC分类号： G06F16/53 ,  G06F16/532 ,  G06F16/33 ,  G06F16/332 ,  G06F40/126 ,  G06V10/40 ,  G06V20/70 ,  G06F18/22 ,  G06N3/0895 ,  G06N3/084 ,  G06N3/04

摘要： 本发明提供基于提示学习的遥感领域的图像‑文本检索方法及装置，涉及遥感图像技术领域。此方法包括：将输入文本和多层文本提示输入文本编码器，输出文本特征向量；根据输入图像、各层文本提示、提示学习模块和图像编码器，确定图像特征向量；将可学习提示、文本特征向量和图像特征向量分别输入适配器模块，对应的输出最终文本特征向量和最终图像特征向量；根据最终文本特征向量、最终图像特征向量，计算图文对比损失和对称性损失，并根据对比损失和对称性损失进行反向传播优化，得到优化的检索模型；将测试数据集输入优化的检索模型，输出相似度矩阵。这样，使得检索所消耗的算力更少和时间更短，使得检索的灵活性较好。