-
公开(公告)号：CN113642604B
公开(公告)日：2023-08-18
申请号：CN202110776711.8
申请日：2021-07-09
Applicant: 南京邮电大学
IPC: G06F18/25 , G06F18/2415 , G06N3/0499 , G06N3/0895 , H04L67/1097
Abstract: 本发明公开了一种基于云边协同的音视频辅助触觉信号重建方法，首先利用中心云使用存储的大规模音视频数据库来学习知识，并将其转移到边缘节点；而后边缘节点将自身接收到的音视频信号与中心云的知识相结合，充分挖掘模态间内在语义的相关性和一致性；最后融合所得音频和视频信号的语义特征并输入触觉生成网络，从而实现触觉信号的重建。本发明很好地解决了多模态数据集的音频和视频信号的数量不足以及人工标注无法为训练数据集中的所有音视频信号添加语义标签的问题；还更好地挖掘了不同模态异构数据之间的语义关联，消除了模态间的异质性差距；多模态语义特征的融合实现了模态间信息的互补与增强，能够提升触觉信号的生成效果。
-
公开(公告)号：CN113627482B
公开(公告)日：2023-08-18
申请号：CN202110776966.4
申请日：2021-07-09
Applicant: 南京邮电大学
IPC: G06V10/80 , G06V10/764 , G06V10/40 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于音频—触觉信号融合的跨模态图像生成方法，其步骤包括：1）选取包含音频数据、图像数据、触觉信号在内的多模态数据集，将该数据集划分为训练集和测试集；2）设计一个音频—触觉信号融合的跨模态图像生成模型，该模型包括深度语义融合、潜在空间学习和跨模态图像生成三个模块；3）利用训练集对该模型进行训练，得到最优参数；4）利用测试集中的触觉信号和音频数据，基于所训练好的模型，跨模态地生成对应的图像。本发明公开了一种基于音频—触觉信号融合的跨模态图像生成装置，本发明引入了强大的生成对抗机制，并且利用了标签信息，有效提高了图像生成的准确性和鲁棒性。
-
公开(公告)号：CN113468413B
公开(公告)日：2023-05-16
申请号：CN202110630879.8
申请日：2021-06-07
Applicant: 南京邮电大学
IPC: G06F16/9535 , G06F16/735 , G06F16/783
Abstract: 本发明公开了一种面向多用户共享的多媒体网络视频推荐方法，首先，在多用户共享的环境下，利用收集的节目信息构建多用户特征，根据节目特征的相似性、用户观看行为的连续性，构建主导用户标签，实现多用户混合日志的分离，并进行未来会话的周期性多用户识别预测；其次，基于时变LinUCB算法建立用户兴趣挖掘模型来学习用户对每个节目主题的兴趣变化，从并行式计算、自适应控制探索系数、基于LSTM的增量更新三个角度，来增强推荐系统的个性化能力与效率；最后，基于非时变LinUCB算法建立物品质量模型以进一步确保节目质量，并采用交叉加权策略将上述的两个算法集成为最终的推荐系统模型，形成最终的节目推荐列表。本发明保证推荐结果的新颖性与准确性。
-
公开(公告)号：CN112004265B
公开(公告)日：2023-02-14
申请号：CN201911322115.1
申请日：2019-12-20
Applicant: 南京邮电大学
IPC: H04W72/0453 , H04W72/53 , H04W72/541 , H04W72/542 , H04W72/566 , H04W4/70 , H04W16/14
Abstract: 本发明公开了一种基于SRM算法的社交网络资源分配方法，在充分考虑D2D通信在物理域和社交域的特点，提出了一种以最小化加权干扰为目标的社区分簇模型。在系统中没有需求文件缓存的情况下，基站首先把文件通过有线链路发送给无线访问接入点，该无线访问接入点再将文件通过无线网络发送给每个社区簇的源节点，最后源节点通过D2D通信的方式将文件发送给簇内的每个移动用户。通过谱聚类算法我们解决了移动用户间社区分簇的问题，并在此基础上根据社区内稳定吞吐量的大小采用匹配算法设计了蜂窝通信和D2D通信的一对一的资源分配方法。本发明可大大提高了系统传输吞吐量、减轻了基站负载，进一步了优化蜂窝通信系统的整体性能。
-
公开(公告)号：CN111144490B
公开(公告)日：2022-09-06
申请号：CN201911373992.1
申请日：2019-12-26
Applicant: 南京邮电大学
Abstract: 一种基于轮替知识蒸馏策略的细粒度识别方法。包括如下步骤，步骤S1、利用卷积神经网络训练获取卷积特征图；步骤S2、对卷积特征图聚类，获取通道指示向量，通过通道指示向量训练channel group模块，生成注意力掩模；步骤S3、根据注意力掩模获取局部图，再将局部图与全局图通过轮替知识蒸馏策略训练，得到细粒度图像。本发明利用卷积神经网络训练获取卷积特征图;再对卷积特征图进行聚类得到通道指示向量，根据通道指示向量预训练channel group模块，生成注意力掩模，获取局部图，最后将局部图与全局图通过轮替知识蒸馏策略训练。通过本发明可以解决细粒度图像中局部信息缺失、传统方法抗干扰能力差等问题，极大的提高了细粒度图像分类的准确率。
-
Patent Agency Ranking
公开(公告)号：CN114979013A
公开(公告)日：2022-08-30
申请号：CN202210534895.1
申请日：2022-05-17
Applicant: 南京邮电大学
IPC: H04L47/24 , H04L47/2441 , H04L47/2425 , H04L47/80 , H04L47/83
Abstract: 本发明公开了一种面向多模态业务的传输模式选择与资源分配方法，属于无线通信领域，包括将多模态业务分类，根据用户对的多模态业务种类选择对应的传输模式；根据传输模式估计音视频流需要的带宽和/或设置触觉信号的端到端时延阈值；根据设备的状态信息计算信道增益，根据数据包的平均到达率和设备的服务速率估计队列状态；通过NSGA3算法为每对用户的音视频和触觉信号分配合适的传输链路和资源。本发明所述方法基于不同的多模态业务设计了3种传输模式，通过模式选择和资源分配为每一对用户灵活地选择适当的链路来传输异构信号，以解决多模态信号需求差异大的问题，并且能够实现更高的带宽满足率和更低的平均端到端时延。
-
公开(公告)号：CN114842384A
公开(公告)日：2022-08-02
申请号：CN202210476817.0
申请日：2022-04-30
Applicant: 南京邮电大学
Abstract: 本发明公开了一种面向6G的触觉模态信号重建方法，此重建方法包括，采集数据样本，构建包含视频和触觉模态信号的数据集；通过利用两种模态信号间的语义关联性，基于深度学习构建具有内在语义关联驱动下的跨模态信号重建模型；使用数据集对跨模态信号重建模型进行训练，直至重建信号质量满足要求或偏差无法继续优化；本发明中为面向6G跨模态应用场景，构建包括视频和触觉的模态数据集VisTouch；基于深度学习技术将具有语义关联性的视频模态信号重建为触觉模态信号；为提升信号重建质量，利用对抗损失与均方误差损失这两类损失函数作为目标函数，并基于VisTouch进行训练，验证了该重建方法的准确性。
-
公开(公告)号：CN114595739A
公开(公告)日：2022-06-07
申请号：CN202210031393.7
申请日：2022-01-12
Applicant: 南京邮电大学
Abstract: 本申请涉及一种图像‑触觉信号相互重建方法和装置。该方法包括：通过接收到待重建信号，待重建信号为视觉信号或图像信号；将待重建信号输入到训练好的深度重建网络模型中进行数据重建，获得重建后的信号；训练深度重建网络模型的步骤包括：搭建基于自编码器构成的深度重建网络模型，将数据集划分为训练集和测试集对深度重建网络模型进行第一阶段和第二阶段的训练；第一阶段和第二阶段的训练交替重复进行，直至深度重建网络模型的训练结果收敛，获得初步深度重建网络模型；将测试集中图像‑触觉信号输入初步深度重建网络模型进行测试，获得训练好的深度重建网络模型。提升了跨模态重建方法接收端信号恢复的泛化能力和恢复质量。
-
公开(公告)号：CN113536377A
公开(公告)日：2021-10-22
申请号：CN202110819110.0
申请日：2021-07-20
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法，包括：预处理图像、音频、触觉信号三种模态；将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中，分别进行行置乱、列置乱和像素值置换，得到三种模态的密文信息；利用预训练好的VGG16网络对三种模态的密文信息进行特征提取，并将三种模态在各自对应的分支网络中进行训练；将训练后的三种模态输入多模态语义融合网络中进行语义融合，检索其输出的结果，将检索的结果进行解密，得到明文结果输出。本发明与传统的检索方法不同，考虑了图像、音频、触觉信号三种模态的跨模态信息检索，且本发明考虑到数据的信息安全问题，实现了加密域下的跨模态信息检索。
-
公开(公告)号：CN113468413A
公开(公告)日：2021-10-01
申请号：CN202110630879.8
申请日：2021-06-07
Applicant: 南京邮电大学
IPC: G06F16/9535 , G06F16/735 , G06F16/783
Abstract: 本发明公开了一种面向多用户共享的多媒体网络视频推荐方法，首先，在多用户共享的环境下，利用收集的节目信息构建多用户特征，根据节目特征的相似性、用户观看行为的连续性，构建主导用户标签，实现多用户混合日志的分离，并进行未来会话的周期性多用户识别预测；其次，基于时变LinUCB算法建立用户兴趣挖掘模型来学习用户对每个节目主题的兴趣变化，从并行式计算、自适应控制探索系数、基于LSTM的增量更新三个角度，来增强推荐系统的个性化能力与效率；最后，基于非时变LinUCB算法建立物品质量模型以进一步确保节目质量，并采用交叉加权策略将上述的两个算法集成为最终的推荐系统模型，形成最终的节目推荐列表。本发明保证推荐结果的新颖性与准确性。
-
-
-
-
-
-
-
-
-
Search Results
169
records
(took 0.093 seconds)
