公开(公告)号：CN118470581A

公开(公告)日：2024-08-09

申请号：CN202410941201.5

申请日：2024-07-15

Applicant: 南京邮电大学

Inventor： 杨龙祥 ,  杨晨龙 ,  胡晗 ,  周福辉

IPC: G06V20/17 ,  G06V10/774 ,  G06V10/94 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了面向目标检测任务的无人机跨模态语义通信方法及系统，涉及通信技术领域，包括采集训练数据，构建数据集，对数据集的类别、位置信息进行标注；构建并预训练无信道条件下的目标检测模型，获得预训练模型的网络参数；构建信道环境，并设计语义通信相关信道编解码，构建加入信道环境后的总体模型；迁移预训练模型的网络参数，将获得的参数进行迁移训练，训练加入信道环境后的总体模型；判断网络训练是否结束，将测试集数据输入网络，输出检测结果。本发明利用不同尺度的语义信息，综合利用多模态的信息进行互补，提升检测精度，也是一种无人机等互联网设备对于目标检测任务面对复杂信道环境时将运算卸载到边缘服务器的有效方法。

公开(公告)号：CN118470581B

公开(公告)日：2024-11-15

申请号：CN202410941201.5

申请日：2024-07-15

Applicant: 南京邮电大学

Inventor： 杨龙祥 ,  杨晨龙 ,  胡晗 ,  周福辉

IPC: G06V20/17 ,  G06V10/774 ,  G06V10/94 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了面向目标检测任务的无人机跨模态语义通信方法及系统，涉及通信技术领域，包括采集训练数据，构建数据集，对数据集的类别、位置信息进行标注；构建并预训练无信道条件下的目标检测模型，获得预训练模型的网络参数；构建信道环境，并设计语义通信相关信道编解码，构建加入信道环境后的总体模型；迁移预训练模型的网络参数，将获得的参数进行迁移训练，训练加入信道环境后的总体模型；判断网络训练是否结束，将测试集数据输入网络，输出检测结果。本发明利用不同尺度的语义信息，综合利用多模态的信息进行互补，提升检测精度，也是一种无人机等互联网设备对于目标检测任务面对复杂信道环境时将运算卸载到边缘服务器的有效方法。