-
公开(公告)号：CN114677311A
公开(公告)日：2022-06-28
申请号：CN202210205553.5
申请日：2022-03-03
Applicant: 南京邮电大学
IPC: G06T5/50 , G06T5/00 , G06T7/529 , G06V10/40 , G06V10/22 , G06V10/74 , G06V10/80 , G06V10/82 , G06V10/764 , G06K9/62 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种基于注意力机制的跨模态图像修复方法及装置，方法包括：选取多模态数据集，包括缺损图像数据、真实图像数据和触觉信号，将该数据集划分为训练集和测试集；设计一个基于注意力机制的跨模态图像修复AGVI模型，该模型包括可学习特征提取、转移特征注意力、相关嵌入学习和跨模态图像修复四个模块；利用训练集对跨模态图像修复AGVI模型进行训练，得到最优的跨模态图像修复AGVI模型结构及网络参数；利用测试集中的触觉信号和缺损图像数据，基于最优的跨模态图像修复AGVI模型进行跨模态修复图像。本发明通过引入注意力机制，精准定位图像缺损区域，并利用触觉信号中的关键信息修复预测、填充该区域，实现图像高质量、细粒度修复。
-
公开(公告)号：CN114677311B
公开(公告)日：2024-11-12
申请号：CN202210205553.5
申请日：2022-03-03
Applicant: 南京邮电大学
IPC: G06T5/50 , G06T5/73 , G06T5/60 , G06T7/529 , G06V10/40 , G06V10/22 , G06V10/74 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/0464 , G06N3/0455 , G06N3/088
Abstract: 本发明公开了一种基于注意力机制的跨模态图像修复方法及装置，方法包括：选取多模态数据集，包括缺损图像数据、真实图像数据和触觉信号，将该数据集划分为训练集和测试集；设计一个基于注意力机制的跨模态图像修复AGVI模型，该模型包括可学习特征提取、转移特征注意力、相关嵌入学习和跨模态图像修复四个模块；利用训练集对跨模态图像修复AGVI模型进行训练，得到最优的跨模态图像修复AGVI模型结构及网络参数；利用测试集中的触觉信号和缺损图像数据，基于最优的跨模态图像修复AGVI模型进行跨模态修复图像。本发明通过引入注意力机制，精准定位图像缺损区域，并利用触觉信号中的关键信息修复预测、填充该区域，实现图像高质量、细粒度修复。
-
公开(公告)号：CN113627482B
公开(公告)日：2023-08-18
申请号：CN202110776966.4
申请日：2021-07-09
Applicant: 南京邮电大学
IPC: G06V10/80 , G06V10/764 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于音频—触觉信号融合的跨模态图像生成方法，其步骤包括：1）选取包含音频数据、图像数据、触觉信号在内的多模态数据集，将该数据集划分为训练集和测试集；2）设计一个音频—触觉信号融合的跨模态图像生成模型，该模型包括深度语义融合、潜在空间学习和跨模态图像生成三个模块；3）利用训练集对该模型进行训练，得到最优参数；4）利用测试集中的触觉信号和音频数据，基于所训练好的模型，跨模态地生成对应的图像。本发明公开了一种基于音频—触觉信号融合的跨模态图像生成装置，本发明引入了强大的生成对抗机制，并且利用了标签信息，有效提高了图像生成的准确性和鲁棒性。
-
公开(公告)号：CN113627482A
公开(公告)日：2021-11-09
申请号：CN202110776966.4
申请日：2021-07-09
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于音频—触觉信号融合的跨模态图像生成方法，其步骤包括：1）选取包含音频数据、图像数据、触觉信号在内的多模态数据集，将该数据集划分为训练集和测试集；2）设计一个音频—触觉信号融合的跨模态图像生成模型，该模型包括深度语义融合、潜在空间学习和跨模态图像生成三个模块；3）利用训练集对该模型进行训练，得到最优参数；4）利用测试集中的触觉信号和音频数据，基于所训练好的模型，跨模态地生成对应的图像。本发明公开了一种基于音频—触觉信号融合的跨模态图像生成装置，本发明引入了强大的生成对抗机制，并且利用了标签信息，有效提高了图像生成的准确性和鲁棒性。
-
-
-
Search Results
4
records
(took 0.017 seconds)
