公开(公告)号：CN117425212A

公开(公告)日：2024-01-19

申请号：CN202311372688.1

申请日：2023-10-23

Applicant: 南京邮电大学

Inventor： 魏昕 ,  杨镇宇 ,  黄蓉 ,  周亮 ,  索云飞 ,  叶蕾

IPC: H04W72/0457 ,  H04W72/0453 ,  H04W72/54 ,  H04N19/70 ,  H04W4/70

Abstract: 本发明公开了一种基于QoE的多模态码流模式选择与资源分配方法，该方法首先给出了视频、音频和触觉三个维度上反映用户体验的量化指标；然后将D2D通信与SVC编码、NOMA技术结合，针对不同场景下的多模态码流，设计对应的通信传输模式；接着，将所设计的传输模式选择与资源分配建立成问题模型，使用MOEA/D多目标遗传算法进行求解该问题模型，得到最优的系统模型。最终，通过在音视频满足度、触觉平均时延、系统吞吐量和能量利用率四个指标上的对比实验与分析，验证该方法能够提升系统性能。本发明很好地解决多模态码流难以高效传输的难点问题，确保了多模态用户在视、听、触多模态码流应用场景下的用户体验。

公开(公告)号：CN119011844A

公开(公告)日：2024-11-22

申请号：CN202411075764.7

申请日：2024-08-07

Applicant: 南京邮电大学

Inventor： 魏昕 ,  杨镇宇 ,  张喆 ,  周亮 ,  刘潇

IPC: H04N19/154 ,  H04N19/70 ,  H04N19/42 ,  H04L1/00 ,  G06N3/0455 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种应对多变场景的跨模态信源信道联合编解码方法，涉及跨模态图像信号重建技术领域，包括：首先设计于Transformer编码器的跨模态信道编解码优化方案，实现信道编码器与信道解码器的性能提升与鲁棒性。其次设计基于隐扩散模型的触觉‑图像生成的跨模态信源编解码优化方案，实现图像信号丢失场景下，利用触觉信息指导图像生成；最后引入迁移学习技术，降低了系统面对多变跨模态通信场景例如多变信道信噪比，不同传输任务等导致的额外训练成本。本发明提供的信源信道联合编解码方法能够在跨模态通信多变场景下解决了接收端无法很好完成图像重建以及多变信道环境和场景导致的额外模型训练成本。

公开(公告)号：CN119011843A

公开(公告)日：2024-11-22

申请号：CN202411075763.2

申请日：2024-08-07

Applicant: 南京邮电大学

Inventor： 魏昕 ,  陈君宇 ,  杨镇宇 ,  叶蕾 ,  周亮

IPC: H04N19/154 ,  H04L1/00 ,  G06T9/00 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/094 ,  G06F18/25

Abstract: 本发明公开了一种基于跨模态通信系统的信源信道联合编解码方法，涉及跨模态图像信号重建技术领域，包括：首先，设计跨模态信源编码器，将带有类别标签的触觉信号和图像信号输入跨模态信源编码器，挖掘模态间深层次的融合特征信息。其次，设计信道编码器与信道解码器，将提取的融合特征直接映射为用于信道传输的比特流，提升系统对信道变化的适应能力。最后，在接收端设计相应的信源解码器，从深层次的特征信息中完成高质量图像信号重建。本发明提供的基于跨模态通信系统的信源信道联合编解码方法降低网络中的功耗，使用适应度函数测量了云网络和服务器(主机)之间的负载平衡，将负载平衡问题转换为优化问题，从而能够适用于处理资源优化。使用粒子群的结果作为遗传算法的初始种群，本发明在执行成本、负载平衡和完成时间方面都取得更加良好的效果。

公开(公告)号：CN115905838A

公开(公告)日：2023-04-04

申请号：CN202211446581.2

申请日：2022-11-18

Applicant: 南京邮电大学

Inventor： 魏昕 ,  杨镇宇 ,  王浩宇 ,  石莹莹 ,  周亮

IPC: G06F18/213 ,  G06F18/24 ,  G06F18/23213 ,  G06F18/241 ,  G06F18/2415 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/0455 ,  G06N3/08 ,  G10L25/03

Abstract: 本发明公开了一种视听辅助的细粒度触觉信号重建方法，首先将用于训练的触觉信号通过触觉自编码器，基于聚类任务提取触觉特征，并将该特征迁移至音频、图像特征提取网络中，实现针对音频、图像信号的特征提取；接着，利用三元组约束对触觉、音频、图像多模态融合映射函数进行优化，从而由提取出的音频、图像特征得到融合特征，最后将融合特征输入到触觉生成网络之中，实现细粒度触觉信号的重建；本发明很好地解决了多模态信号之间所存在弱监督和弱配对的问题，实现了跨模态共享语义学习，在保证了所生成的触觉信号结构以及语义完整性的同时还加强了其聚类特性，从而使得触觉信号的重建质量得到显著提升。