一种基于注意力机制的跨模态图像修复方法及装置

    公开(公告)号:CN114677311A

    公开(公告)日:2022-06-28

    申请号:CN202210205553.5

    申请日:2022-03-03

    Abstract: 本发明公开了一种基于注意力机制的跨模态图像修复方法及装置,方法包括:选取多模态数据集,包括缺损图像数据、真实图像数据和触觉信号,将该数据集划分为训练集和测试集;设计一个基于注意力机制的跨模态图像修复AGVI模型,该模型包括可学习特征提取、转移特征注意力、相关嵌入学习和跨模态图像修复四个模块;利用训练集对跨模态图像修复AGVI模型进行训练,得到最优的跨模态图像修复AGVI模型结构及网络参数;利用测试集中的触觉信号和缺损图像数据,基于最优的跨模态图像修复AGVI模型进行跨模态修复图像。本发明通过引入注意力机制,精准定位图像缺损区域,并利用触觉信号中的关键信息修复预测、填充该区域,实现图像高质量、细粒度修复。

    面向建筑物联网的复合多功能感知装置

    公开(公告)号:CN113483812A

    公开(公告)日:2021-10-08

    申请号:CN202110668192.3

    申请日:2021-06-16

    Abstract: 本发明公开了一种面向建筑物联网的复合多功能感知装置,包括信号采集模块、数据处理模块、数据传输模块和电源;所述电源分别连接信号采集模块、数据处理模块和数据传输模块为其供电;信号采集模块包括温湿度传感器、光照传感器、空气质量传感器和红外阵列传感器;数据处理模块,对当前环境进行分析得到当前房间内温湿度、光强度、空气质量和人数,并将分析结果传输到数据传输模块;数据传输模块,用于接收分析结果并传输到云端。本发明同时采集室内的温湿度、光照强度、空气质量、人数,实现了感知装置的多种功能集成一体化,有效地减少建筑内传感器布放数量。

    IPTV视频流业务用户体验质量主客观综合评估方法

    公开(公告)号:CN109905382A

    公开(公告)日:2019-06-18

    申请号:CN201910118920.6

    申请日:2019-02-15

    Abstract: 本发明公开了IPTV视频流业务用户体验质量主客观综合评估方法,包括以下步骤:步骤一:采集IPTV用户在观看视频时所产生的QoS参数和状态参数;步骤二:利用数据挖掘技术对采集的QoS参数进行处理,确定IPTV视频业务中的关键QoS参数;并根据状态参数获取观看率、观看方式这两个分别表征用户喜爱程度和影响用户接受程度的个性化参数;步骤三:将处理后的关键QoS参数及个性化参数一起带入基于统计学方法得到的用户体验质量评估模型中,得到用户体验质量评分。本发明所提出的包含个性化参数的评估模型能使获得的评估结果与真实的用户体验更接近,提高了IPTV视频流业务QoE评估的准确度,能帮助运营商更好地改善服务。

    一种基于语义驱动的跨模态障碍检测方法

    公开(公告)号:CN117437614A

    公开(公告)日:2024-01-23

    申请号:CN202311449045.2

    申请日:2023-11-02

    Abstract: 本发明涉及障碍检测技术领域,是一种基于语义驱动的跨模态障碍检测方法,首先提出了一个语义驱动的传输框架,框架提取了与任务相关的语义,并通过信源‑信道联合编码提高对信道噪声的稳定性;而后设计了一种轻量级的跨模态语义融合方法,在保持模态内语义完整性的前提下,实现多模态语义互补信息的学习;最后,构建了一个包含典型障碍物如突发的行人、不规则的障碍物的数据集来评估所提方法的性能。本发明解决了传统方案存在的传输延迟大和检测精度低的问题;首先仅传输与任务相关的语义,有效地减少传输的数据量,降低传输延迟,此外利用跨模态的语义学习,完成对多模态信号的语义关系挖掘,使多模态信号能够实现语义互补,从而提高检测精度。

    一种基于音频—触觉信号融合的跨模态图像生成方法及装置

    公开(公告)号:CN113627482A

    公开(公告)日:2021-11-09

    申请号:CN202110776966.4

    申请日:2021-07-09

    Abstract: 本发明公开了一种基于音频—触觉信号融合的跨模态图像生成方法,其步骤包括:1)选取包含音频数据、图像数据、触觉信号在内的多模态数据集,将该数据集划分为训练集和测试集;2)设计一个音频—触觉信号融合的跨模态图像生成模型,该模型包括深度语义融合、潜在空间学习和跨模态图像生成三个模块;3)利用训练集对该模型进行训练,得到最优参数;4)利用测试集中的触觉信号和音频数据,基于所训练好的模型,跨模态地生成对应的图像。本发明公开了一种基于音频—触觉信号融合的跨模态图像生成装置,本发明引入了强大的生成对抗机制,并且利用了标签信息,有效提高了图像生成的准确性和鲁棒性。

    一种基站流量的联合预测方法

    公开(公告)号:CN109640351A

    公开(公告)日:2019-04-16

    申请号:CN201910072191.5

    申请日:2019-01-25

    CPC classification number: H04W24/06 H04L41/145 H04L41/147

    Abstract: 本发明提出了一种基站流量的联合预测方法,用于解决当流量数据呈现非线性且存在突变值时,传统线性算法预测性能较差的问题。首先从基站采集流量数据作为数据集,对于异常值和缺失值进行数据预处理;接着采用小波变换来分解处理过的数据,使流量数据平滑,易于预测;而后对分解得出的序列进行单一重构,低频信号采用回声状态网络模型进行预测,高频信号采用自回归积分滑动平均模型进行预测;最后对单个序列的预测数值进行线性累和得出最终结果。本发明的联合模型方法较之于单一模型预测能够达到更好的预测精度,降低平均绝对百分比误差达6%,并在一定程度上降低归一化均方根误差;基站的流量数据预测准确性提高,有利于提高网络资源合理分配性。

    一种基于注意力机制的跨模态图像修复方法及装置

    公开(公告)号:CN114677311B

    公开(公告)日:2024-11-12

    申请号:CN202210205553.5

    申请日:2022-03-03

    Abstract: 本发明公开了一种基于注意力机制的跨模态图像修复方法及装置,方法包括:选取多模态数据集,包括缺损图像数据、真实图像数据和触觉信号,将该数据集划分为训练集和测试集;设计一个基于注意力机制的跨模态图像修复AGVI模型,该模型包括可学习特征提取、转移特征注意力、相关嵌入学习和跨模态图像修复四个模块;利用训练集对跨模态图像修复AGVI模型进行训练,得到最优的跨模态图像修复AGVI模型结构及网络参数;利用测试集中的触觉信号和缺损图像数据,基于最优的跨模态图像修复AGVI模型进行跨模态修复图像。本发明通过引入注意力机制,精准定位图像缺损区域,并利用触觉信号中的关键信息修复预测、填充该区域,实现图像高质量、细粒度修复。

    一种基于音频—触觉信号融合的跨模态图像生成方法及装置

    公开(公告)号:CN113627482B

    公开(公告)日:2023-08-18

    申请号:CN202110776966.4

    申请日:2021-07-09

    Abstract: 本发明公开了一种基于音频—触觉信号融合的跨模态图像生成方法,其步骤包括:1)选取包含音频数据、图像数据、触觉信号在内的多模态数据集,将该数据集划分为训练集和测试集;2)设计一个音频—触觉信号融合的跨模态图像生成模型,该模型包括深度语义融合、潜在空间学习和跨模态图像生成三个模块;3)利用训练集对该模型进行训练,得到最优参数;4)利用测试集中的触觉信号和音频数据,基于所训练好的模型,跨模态地生成对应的图像。本发明公开了一种基于音频—触觉信号融合的跨模态图像生成装置,本发明引入了强大的生成对抗机制,并且利用了标签信息,有效提高了图像生成的准确性和鲁棒性。

    基于PNN-PSO算法的IPTV不平衡数据集的QoE的预测方法

    公开(公告)号:CN109120961A

    公开(公告)日:2019-01-01

    申请号:CN201810803152.3

    申请日:2018-07-20

    Abstract: 本发明提出了一种基于PNN-PSO算法的IPTV不平衡数据集的用户体验质量(QoE)的预测方法。该方法包括如下步骤:首先从IPTV的机顶盒记录中提取与用户的体验质量有关联的影响因素,得到PNN-PSO模型的特征输入,并进行相关概念的定义及数据的提取和预处理;接着分析各个特征与用户体验质量(QoE)的关联;而后基于PNN-PSO神经网络建立用户体验质量(QoE)预测模型,利用IPTV数据集来实现用户体验质量(QoE)的预测。采用该方法,克服了PNN算法中存在的局部极小问题以及数据不均衡所带来的问题,学习收敛过程更快,预测更加精确、高效;充分利用了IPTV机顶盒的数据集,能够帮助IPTV运营商及时地做出调整措施,以提高用户体验质量。

Patent Agency Ranking