-
公开(公告)号:CN114979013B
公开(公告)日:2023-12-05
申请号:CN202210534895.1
申请日:2022-05-17
Applicant: 南京邮电大学
IPC: H04L47/24 , H04L47/2441 , H04L47/2425 , H04L47/80 , H04L47/83
Abstract: 本发明公开了一种面向多模态业务的传输模式选择与资源分配方法,属于无线通信领域,包括将多模态业务分类,根据用户对的多模态业务种类选择对应的传输模式;根据传输模式估计音视频流需要的带宽和/或设置触觉信号的端到端时延阈值;根据设备的状态信息计算信道增益,根据数据包的平均到达率和设备的服务速率估计队列状态;通过NSGA3算法为每对用户的音视频和触觉信号分配合适的传输链路和资源。本发明所述方法基于不同的多模态业务设计了3种传输模式,通过模式选择和资源分配为每一对用户灵活地选择适当的链路来传输异构信号,以解决多模态信号需求差异大的问题,并且能够实现更高的带宽满足率和更低的平均端到端时延。
-
公开(公告)号:CN113536377B
公开(公告)日:2023-09-05
申请号:CN202110819110.0
申请日:2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法,包括:预处理图像、音频、触觉信号三种模态;将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中,分别进行行置乱、列置乱和像素值置换,得到三种模态的密文信息;利用预训练好的VGG16网络对三种模态的密文信息进行特征提取,并将三种模态在各自对应的分支网络中进行训练;将训练后的三种模态输入多模态语义融合网络中进行语义融合,检索其输出的结果,将检索的结果进行解密,得到明文结果输出。本发明与传统的检索方法不同,考虑了图像、音频、触觉信号三种模态的跨模态信息检索,且本发明考虑到数据的信息安全问题,实现了加密域下的跨模态信息检索。
-
公开(公告)号:CN117425212A
公开(公告)日:2024-01-19
申请号:CN202311372688.1
申请日:2023-10-23
Applicant: 南京邮电大学
IPC: H04W72/0457 , H04W72/0453 , H04W72/54 , H04N19/70 , H04W4/70
Abstract: 本发明公开了一种基于QoE的多模态码流模式选择与资源分配方法,该方法首先给出了视频、音频和触觉三个维度上反映用户体验的量化指标;然后将D2D通信与SVC编码、NOMA技术结合,针对不同场景下的多模态码流,设计对应的通信传输模式;接着,将所设计的传输模式选择与资源分配建立成问题模型,使用MOEA/D多目标遗传算法进行求解该问题模型,得到最优的系统模型。最终,通过在音视频满足度、触觉平均时延、系统吞吐量和能量利用率四个指标上的对比实验与分析,验证该方法能够提升系统性能。本发明很好地解决多模态码流难以高效传输的难点问题,确保了多模态用户在视、听、触多模态码流应用场景下的用户体验。
-
公开(公告)号:CN114979013A
公开(公告)日:2022-08-30
申请号:CN202210534895.1
申请日:2022-05-17
Applicant: 南京邮电大学
IPC: H04L47/24 , H04L47/2441 , H04L47/2425 , H04L47/80 , H04L47/83
Abstract: 本发明公开了一种面向多模态业务的传输模式选择与资源分配方法,属于无线通信领域,包括将多模态业务分类,根据用户对的多模态业务种类选择对应的传输模式;根据传输模式估计音视频流需要的带宽和/或设置触觉信号的端到端时延阈值;根据设备的状态信息计算信道增益,根据数据包的平均到达率和设备的服务速率估计队列状态;通过NSGA3算法为每对用户的音视频和触觉信号分配合适的传输链路和资源。本发明所述方法基于不同的多模态业务设计了3种传输模式,通过模式选择和资源分配为每一对用户灵活地选择适当的链路来传输异构信号,以解决多模态信号需求差异大的问题,并且能够实现更高的带宽满足率和更低的平均端到端时延。
-
公开(公告)号:CN113536377A
公开(公告)日:2021-10-22
申请号:CN202110819110.0
申请日:2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法,包括:预处理图像、音频、触觉信号三种模态;将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中,分别进行行置乱、列置乱和像素值置换,得到三种模态的密文信息;利用预训练好的VGG16网络对三种模态的密文信息进行特征提取,并将三种模态在各自对应的分支网络中进行训练;将训练后的三种模态输入多模态语义融合网络中进行语义融合,检索其输出的结果,将检索的结果进行解密,得到明文结果输出。本发明与传统的检索方法不同,考虑了图像、音频、触觉信号三种模态的跨模态信息检索,且本发明考虑到数据的信息安全问题,实现了加密域下的跨模态信息检索。
-
-
-
-