公开(公告)号：CN117437614A

公开(公告)日：2024-01-23

申请号：CN202311449045.2

申请日：2023-11-02

Applicant: 南京邮电大学

Inventor： 高赟 ,  王彤 ,  刘恒发 ,  周亮

IPC: G06V20/58 ,  G06V20/70 ,  G06V10/26 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明涉及障碍检测技术领域，是一种基于语义驱动的跨模态障碍检测方法，首先提出了一个语义驱动的传输框架，框架提取了与任务相关的语义，并通过信源‑信道联合编码提高对信道噪声的稳定性；而后设计了一种轻量级的跨模态语义融合方法，在保持模态内语义完整性的前提下，实现多模态语义互补信息的学习；最后，构建了一个包含典型障碍物如突发的行人、不规则的障碍物的数据集来评估所提方法的性能。本发明解决了传统方案存在的传输延迟大和检测精度低的问题；首先仅传输与任务相关的语义，有效地减少传输的数据量，降低传输延迟，此外利用跨模态的语义学习，完成对多模态信号的语义关系挖掘，使多模态信号能够实现语义互补，从而提高检测精度。

公开(公告)号：CN118658036A

公开(公告)日：2024-09-17

申请号：CN202411140399.3

申请日：2024-08-20

Applicant: 南京邮电大学

Inventor： 高赟 ,  王彤 ,  刘恒发 ,  周亮

IPC: G06V10/80 ,  H04N23/11 ,  H04N19/70 ,  H04N19/124 ,  H04N19/166 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045

Abstract: 本发明公开了一种面向无线应急网络的跨模态语义通信方法，所述方法包括：通过设计跨模态语义编码器，提取多模态信号中全面表征周遭环境的语义特征，包括基础语义及增强语义；估计网络状态，并逐步多次传输编码后的基础语义和增强语义以进行决策；对接收到的语义特征进行逆量化、语义集成和语义解码；在解码器中结合所收到的语义信息，完成最终决策。本发明解决了在无线应急网络中存在的决策精度低和传输延迟大的问题；通过跨模态语义学习实现更全面的语义表示，提高了决策精度；利用网络中断间隔传输增强的语义信息，有效地降低了传输延迟。