-
公开(公告)号:CN117806838B
公开(公告)日:2024-06-04
申请号:CN202410230125.7
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/50 , G06F18/22 , G06F18/241 , G06N20/00 , G06N5/04
Abstract: 本发明提供基于异构数据的设备分簇方法、装置、设备、系统及介质,涉及计算机技术领域,首先可将多个边缘设备划分至多个设备簇,以便各边缘设备对机器学习模型进行层级联邦训练;同时,在分簇过程中,本发明可确定各边缘设备本地的机器学习模型对同一测试数据集的推理结果,并可基于该推理结果确定各边缘设备间的训练数据相似度;进而,可利用各训练数据相似度将各边缘设备划分至多个设备簇,即可在分簇过程中考虑数据异构的特点和分布情况,并将拥有相似数据的设备放在同一簇中,从而可提高簇内数据的相似性。这样,在各边缘设备进行层级联邦训练时,可确保相近的机器学习模型参数先聚合,可确保全局模型更快收敛,并可提升联邦学习效率。
-
公开(公告)号:CN117829274B
公开(公告)日:2024-05-24
申请号:CN202410230112.X
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06Q10/04 , G06N3/098 , G06N5/04 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种模型融合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在簇内聚合与全局聚合时分别确定权重系数进行加权聚合,解决了边缘计算设备的数据异构导致的模型精度受损的问题。一方面由各簇簇头为簇内各边缘计算设备确定设备权重系数,并进行加权聚合,另一方面由中心服务器确定各个簇的簇权重系数,并进行加权聚合,在两次加权聚合时分别参考对应的模型性能进行权重系数的确定,不但可以根据重要性区别调节对于各边缘计算设备的学习率,提升了全局网络模型的精度,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
公开(公告)号:CN117808125B
公开(公告)日:2024-05-24
申请号:CN202410230004.2
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种模型聚合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于对边缘计算设备中待聚合的模型参数进行筛选,解决了不重要的模型参数传输影响模型训练效率以及模型精度的问题。分别确定本地网络模型的各个模型参数对于本地网络模型性能的第一影响程度以及各个骨干网络层对于本地网络模型性能的第二影响程度,结合第一、第二影响程度对模型参数进行筛选,可剔除对本地网络模型性能影响较小的模型参数,不但降低了数据传输成本,提升了数据传输效率,而且避免了重要程度较低的模型参数对模型精度的影响,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
公开(公告)号:CN117811846A
公开(公告)日:2024-04-02
申请号:CN202410230120.4
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L9/40 , H04L67/10 , H04L41/142 , G06N3/045 , G06N3/098
Abstract: 本发明公开了一种基于分布式系统的网络安全检测方法、系统、设备及介质,涉及网络安全领域,为解决边缘计算设备采用固定大小的本地网络安全检测模型无法发挥最优性能的问题,该方法包括基于本地安全数据训练初始网络安全检测模型;将测试安全数据集输入初始网络安全检测模型后,根据两个输出网络块对应的输出值调整初始网络安全检测模型的神经网络深度得到本地网络安全检测模型;当满足参数更新条件时,利用本地网络安全检测模型的模型参数和关联计算设备的模型参数更新本地网络安全检测模型;通过更新后的本地网络安全检测模型进行本地网络安全检测。本发明能够使边缘计算设备发挥最优的本地网络安全检测性能,减少了通信开销和带宽需求。
-
公开(公告)号:CN115858848B
公开(公告)日:2023-08-15
申请号:CN202310166849.5
申请日:2023-02-27
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/583 , G06F16/33 , G06N3/042 , G06N3/0455 , G06N3/08
Abstract: 本申请公开了图文互检方法及装置、训练方法及装置、服务器、介质,涉及数据处理技术领域,该训练方法包括:构建图像多连接特征编码器和文本特征编码器;其中,图像多连接特征编码器包括:图像分类网络、图像检测网络、图像的图结构构建网络;基于图像多连接特征编码器和文本特征编码器进行网络构建,得到初始图文互检网络;构造图文检索损失函数;基于图文检索损失函数和训练数据对初始图文互检网络进行训练,得到图文互检网络。提高对多模态数据进行处理的效果和推理准确度。
-
公开(公告)号:CN115759183B
公开(公告)日:2023-05-16
申请号:CN202310016212.8
申请日:2023-01-06
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本申请公开了一种多结构文本图神经网络的相关方法和相关装置,该方法包括:基于多结构文本的不同语义信息进行图网络构建,得到初始多结构文本图神经网络;将正负样本之间的距离越来越远为目标构造对比损失函数;基于对比损失函数和训练数据对初始多结构文本图神经网络进行训练,得到多结构文本图神经网络。以提高对多结构文本进行处理的效果,提高推理准确度。
-
公开(公告)号:CN116049459A
公开(公告)日:2023-05-02
申请号:CN202310324164.9
申请日:2023-03-30
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/53 , G06F16/583 , G06F16/55 , G06N3/0464 , G06N3/0455 , G06N3/048 , G06N3/047 , G06N3/084
Abstract: 本申请公开了跨模态互检索的方法、装置、服务器及存储介质,涉及数据处理技术领域,其中训练方法包括:构建文本信息特征编码器和图像序列特征编码器;基于文本信息特征编码器和图像序列特征编码器进行检索网络构建,得到初始图像文本检索网络;基于每个样本的正样本组和负样本组构造对齐损失函数;基于对齐损失函数和训练数据对初始图像文本检索网络进行训练,得到多模态图像文本检索网络。以提高对于多结构文本数据和图像数据进行图文互检的准确性。
-
公开(公告)号:CN115495615B
公开(公告)日:2023-02-28
申请号:CN202211420795.2
申请日:2022-11-15
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F16/783 , G06F16/732 , G06F16/75 , G06F16/332 , G06N3/0464 , G06N3/049 , G06N3/08
Abstract: 本申请公开了计算机技术领域内的一种视频与文本的互检方法、装置、设备、存储介质及终端。本申请在确定目标视频中每帧画面的特征后,利用以强化学习方式训练得到的视频播放模型确定目标视频中每帧画面的播放速度,得到目标视频的播放控制策略,通过播放控制策略可以在目标视频中选择出能够表示视频画面转折点的多帧关键画面,后续检索与这些关键画面匹配的目标文本。该方案不以视频里的全部帧进行检索,而是从中选出能够表示视频画面转折点的一些关键画面进行检索,降低了数据处理量,保障了检索精度,提升了检索效率。本申请提供的一种视频与文本的互检装置、设备、存储介质及终端,也同样具有上述技术效果。
-
公开(公告)号:CN117808127B
公开(公告)日:2024-05-28
申请号:CN202410230103.0
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种数据异构条件下的图像处理方法、联邦学习方法及装置,涉及图像处理技术领域,根据数据分布相似性对边缘计算设备分簇,簇内边缘计算设备具有相似的数据分布,可以让模型更好的捕捉到数据的特征,有效解决数据异构问题。簇内的边缘计算设备根据簇内树形聚合网络进行模型参数聚合,下层的边缘计算设备只向上一层中相应的边缘计算设备发送模型参数,而不向其他边缘计算设备发送模型参数,这样可以极大降低通信开销。边缘计算设备与边缘云服务器在联邦学习过程中进行两层模型参数聚合,得到准确可靠的图像处理模型,最终边缘计算设备使用该准确可靠的图像处理模型进行图像处理,可以提升图像处理的准确性与可靠性。
-
公开(公告)号:CN117808129B
公开(公告)日:2024-05-24
申请号:CN202410230139.9
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N20/00 , G06N5/04 , G06N3/098 , G06N3/082 , G06N3/0495 , G06N3/0442
Abstract: 本发明提供一种异构分布式学习方法、装置、设备、系统及介质,涉及计算机技术领域,方法应用于边缘设备,联邦学习系统包含多个边缘设备,多个边缘设备已划分至多个设备簇,方法包括:利用本地训练数据对本地的机器学习模型进行迭代训练;各边缘设备中的机器学习模型对应相同的模型结构及推理任务;对训练后的机器学习模型进行压缩,并将压缩后的机器学习模型参数发送至自身所在设备簇的簇头边缘设备;当自身属于簇头边缘设备时,对接收到的机器学习模型参数进行簇内聚合得到簇内聚合模型参数,并将簇内聚合模型参数发送至边缘云服务器进行全局聚合;可通过设备分簇及模型压缩减少联邦学习过程中的通信量,从而可提升通信效率。
-
-
-
-
-
-
-
-
-