一种基于超混沌伪随机序列的加密域跨模态信息检索方法

    公开(公告)号:CN113536377B

    公开(公告)日:2023-09-05

    申请号:CN202110819110.0

    申请日:2021-07-20

    Abstract: 本发明公开了一种基于超混沌伪随机序列的加密域跨模态信息检索方法,包括:预处理图像、音频、触觉信号三种模态;将预处理后的三种模态输入至构建的超混沌伪随机序列的加密系统中,分别进行行置乱、列置乱和像素值置换,得到三种模态的密文信息;利用预训练好的VGG16网络对三种模态的密文信息进行特征提取,并将三种模态在各自对应的分支网络中进行训练;将训练后的三种模态输入多模态语义融合网络中进行语义融合,检索其输出的结果,将检索的结果进行解密,得到明文结果输出。本发明与传统的检索方法不同,考虑了图像、音频、触觉信号三种模态的跨模态信息检索,且本发明考虑到数据的信息安全问题,实现了加密域下的跨模态信息检索。

    一种面向跨模态通信的图像超分辨率重建方法

    公开(公告)号:CN115936997A

    公开(公告)日:2023-04-07

    申请号:CN202310011043.9

    申请日:2023-01-05

    Abstract: 本发明属于视觉信号的超分辨率重建技术领域,公开了一种面向跨模态通信的图像超分辨率重建方法,首先在发送端仅传输低分辨率视觉信号和相应的触觉信号,而后通过模态内鉴别性和模态间相关性的学习弥补不同模态间存在的语义鸿沟,通过信道传输后,在接收端通过有效的特征融合方式实现互补性的学习,最后利用得到的融合特征去生成所需的高分辨率视觉信号。本发明很好地解决了在多模态服务中存在的因带宽受限和多模态信号间的竞争导致的视觉质量下降,最终影响用户体验的问题,实现了跨模态信号一致性、互补性的学习,保证了在有限带宽下,接收端高分辨率视觉信号的获取,提升用户的沉浸式体验。

    一种用于淋巴瘤PET图像3D分割任务的神经网络模型

    公开(公告)号:CN115796232A

    公开(公告)日:2023-03-14

    申请号:CN202211563660.1

    申请日:2022-12-07

    Abstract: 本发明公开了一种用于淋巴瘤PET图像3D分割任务的神经网络模型,该神经网络模型基于一个五层的“U”型编码器‑解码器结构,每一层的编码器部分都融合了循环残差卷积模块以加深卷积深度、增强特征提取能力,并在特征融合前使用多尺度卷积模块对编码器输出的特征图像进行特征增强。层与层之间通过最大池化层和上采样层进行连接,最大池化层可以压缩特征、简化网络,而上采样层可以保留高级抽象特征的同时提高图像分辨率,然后再与多尺度卷积模块增强过的低级表层特征高分辨率图像进行特征融合。

    一种基于跨模态信号重建技术的针灸教学系统

    公开(公告)号:CN115497157A

    公开(公告)日:2022-12-20

    申请号:CN202211024933.5

    申请日:2022-08-25

    Abstract: 本发明公开了一种基于跨模态信号重建技术的针灸教学系统,包含:数据采集模块,动作捕捉模块,语义提取模块,触觉重建模块并作为生成对抗网络的生成网络部分;触觉判别模块,并作为生成对抗网络的判别网络部分,在判别网络中构建精准重建的触觉信号的优化目标函数。跨模态信号重建模块,用于将针灸过程视频输入精准重建的触觉信号的优化目标函数,其对应的已知的精准重建的触觉信号为输出。该教学系统同时基于教师针灸数据库中参数波形,获得学习者针灸学习的评分。本发明解决了言传身教中教学周期长、优质资源短缺的弊端,同时跨模态信号重建技术为学生提供了视触一体的沉浸感体验,有助于缩短学习周期、提升学习质量。

    一种P2P流媒体点播系统中基于请求队列的节点负载均衡方法

    公开(公告)号:CN108881051B

    公开(公告)日:2022-05-10

    申请号:CN201810578788.2

    申请日:2018-06-07

    Abstract: 本发明公开了一种P2P流媒体点播系统中基于请求队列的节点负载均衡方法,该方法实现了P2P流媒体系统中各节点间高效的负载均衡。首先,通过请求的紧迫性、稀缺性以及平滑播放阈值,综合定义了请求的优先级,按照优先级由高到低排序,把不能及时处理的请求转移到其他的节点。最后,综合邻居节点的上行带宽,以及计算得到的稳定性和负载度,设计了节点利用函数,对转移的请求选择合适的目标节点进行处理,提出了基于请求队列的节点负载均衡策略。实施结果表明,本发明所设计的方法可以有效地解决P2P流媒体点播系统中的节点负载不均衡的问题,优化了P2P网络中的资源配置,有利于提升用户对于流媒体点播的体验。

    基于PNN-PSO算法的IPTV不平衡数据集的QoE的预测方法

    公开(公告)号:CN109120961B

    公开(公告)日:2020-11-03

    申请号:CN201810803152.3

    申请日:2018-07-20

    Abstract: 本发明提出了一种基于PNN‑PSO算法的IPTV不平衡数据集的用户体验质量(QoE)的预测方法。该方法包括如下步骤:首先从IPTV的机顶盒记录中提取与用户的体验质量有关联的影响因素,得到PNN‑PSO模型的特征输入,并进行相关概念的定义及数据的提取和预处理;接着分析各个特征与用户体验质量(QoE)的关联;而后基于PNN‑PSO神经网络建立用户体验质量(QoE)预测模型,利用IPTV数据集来实现用户体验质量(QoE)的预测。采用该方法,克服了PNN算法中存在的局部极小问题以及数据不均衡所带来的问题,学习收敛过程更快,预测更加精确、高效;充分利用了IPTV机顶盒的数据集,能够帮助IPTV运营商及时地做出调整措施,以提高用户体验质量。

    一种基于轮替知识蒸馏策略的细粒度识别方法

    公开(公告)号:CN111144490A

    公开(公告)日:2020-05-12

    申请号:CN201911373992.1

    申请日:2019-12-26

    Abstract: 一种基于轮替知识蒸馏策略的细粒度识别方法。包括如下步骤,步骤S1、利用卷积神经网络训练获取卷积特征图;步骤S2、对卷积特征图聚类,获取通道指示向量,通过通道指示向量训练channel group模块,生成注意力掩模;步骤S3、根据注意力掩模获取局部图,再将局部图与全局图通过轮替知识蒸馏策略训练,得到细粒度图像。本发明利用卷积神经网络训练获取卷积特征图;再对卷积特征图进行聚类得到通道指示向量,根据通道指示向量预训练channel group模块,生成注意力掩模,获取局部图,最后将局部图与全局图通过轮替知识蒸馏策略训练。通过本发明可以解决细粒度图像中局部信息缺失、传统方法抗干扰能力差等问题,极大的提高了细粒度图像分类的准确率。

Patent Agency Ranking