公开(公告)号：CN118631393A

公开(公告)日：2024-09-10

申请号：CN202410714765.5

申请日：2024-06-04

Applicant: 浙江大学

Inventor： 戴松辰 ,  周渝林 ,  王朝 ,  吴超 ,  回晓楠 ,  章献民

IPC: H04L1/00 ,  G06T5/50 ,  G06T3/4038 ,  G06N3/0464 ,  G06T7/10

Abstract: 本发明公开了一种多模态的轻量化语义通信方法，具体过程为：在发射端，由编码器对待传输的RGB图像和红外图像分别进行编码，再将编码器编码后的第一特征图和第二特征图一起输入到信道融合模块，在信道融合模块中，进行拼接、通道混洗以及分离操作后，得到两个不同的混合特征，再由降维卷积层处理后，将两个模态降维后的特征各自经过通道注意力层、点积、空间注意力层以及相加后，再进行特征融合，最后由降维卷积层处理并叠加加性的高斯白噪声，经重塑形状后得到信道融合模块的输出。在接收端，先由依次级联的三层升维卷积层进行维度恢复处理，再经过四个卷积块处理，最后经过一层卷积层后，输出语义分割结果。