公开(公告)号：CN113628294B

公开(公告)日：2023-06-20

申请号：CN202110776726.4

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  章萌 ,  高子涵 ,  周亮

IPC: G06T11/00 ,  G06V10/774 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/0475 ,  G06N3/094 ,  G06F30/27

Abstract: 本发明公开了一种面向跨模态通信系统的图像重建方法，所述方法利用跨模态通信系统中接收端所接收到完整触觉信号对传输过程中所存在的缺失图像进行重建，同时结合注意力机制构造跨模态交互网络，解决传统生成模型只能训练成对样本的局限性。本发明还公开了一种面向跨模态通信系统的图像重建装置。本发明充分利用不同模态数据间的语义相关性，针对未配对数据实现触觉信号到图像的跨模态生成，克服跨模态通信系统中用于实际的训练触觉信号—图像数据难以成对采集的问题，显著提高了生成图像的质量和类别精度。

公开(公告)号：CN113628294A

公开(公告)日：2021-11-09

申请号：CN202110776726.4

申请日：2021-07-09

Applicant: 南京邮电大学

Inventor： 魏昕 ,  章萌 ,  高子涵 ,  周亮

IPC: G06T11/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06F30/27

Abstract: 本发明公开了一种面向跨模态通信系统的图像重建方法，所述方法利用跨模态通信系统中接收端所接收到完整触觉信号对传输过程中所存在的缺失图像进行重建，同时结合注意力机制构造跨模态交互网络，解决传统生成模型只能训练成对样本的局限性。本发明还公开了一种面向跨模态通信系统的图像重建装置。本发明充分利用不同模态数据间的语义相关性，针对未配对数据实现触觉信号到图像的跨模态生成，克服跨模态通信系统中用于实际的训练触觉信号—图像数据难以成对采集的问题，显著提高了生成图像的质量和类别精度。