公开(公告)号：CN119094082A

公开(公告)日：2024-12-06

申请号：CN202411075759.6

申请日：2024-08-07

Applicant: 南京邮电大学

Inventor： 魏昕 ,  王浩宇 ,  张喆 ,  周亮 ,  张翠芳

IPC: H04L1/00 ,  G06F18/25 ,  G06F18/10 ,  G06F17/14 ,  G06F18/213 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/098 ,  H04B17/391

Abstract: 本发明公开了一种信噪比自适应联合优化信源信道的触觉信号重建方法，涉及触觉信号生成技术领域，包括：将每一种对象对应的图像和滑动产生的触觉振动信号进行预处理；构建跨模态联合编码器用于生成层次化融合特征，构建跨模态联合解码器，将预处理得到的训练数据输入所构建的跨模态联合编码器和跨模态联合解码器中进行训练；将待测的成对的触觉信号和图像信号输入跨模态联合编码器和最优的跨模态联合解码器，重建目标触觉信号。本发明提供的信噪比自适应联合优化信源信道的触觉信号重建方法简化了编码训练过程，更好地进行模态特征融合；提高了模型对信道变化的鲁棒性，使模型在更大范围信噪比变化下表现出更高的触觉信号重建稳定性。

公开(公告)号：CN119011844A

公开(公告)日：2024-11-22

申请号：CN202411075764.7

申请日：2024-08-07

Applicant: 南京邮电大学

Inventor： 魏昕 ,  杨镇宇 ,  张喆 ,  周亮 ,  刘潇

IPC: H04N19/154 ,  H04N19/70 ,  H04N19/42 ,  H04L1/00 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种应对多变场景的跨模态信源信道联合编解码方法，涉及跨模态图像信号重建技术领域，包括：首先设计于Transformer编码器的跨模态信道编解码优化方案，实现信道编码器与信道解码器的性能提升与鲁棒性。其次设计基于隐扩散模型的触觉‑图像生成的跨模态信源编解码优化方案，实现图像信号丢失场景下，利用触觉信息指导图像生成；最后引入迁移学习技术，降低了系统面对多变跨模态通信场景例如多变信道信噪比，不同传输任务等导致的额外训练成本。本发明提供的信源信道联合编解码方法能够在跨模态通信多变场景下解决了接收端无法很好完成图像重建以及多变信道环境和场景导致的额外模型训练成本。