-
公开(公告)号:CN117806838B
公开(公告)日:2024-06-04
申请号:CN202410230125.7
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/50 , G06F18/22 , G06F18/241 , G06N20/00 , G06N5/04
Abstract: 本发明提供基于异构数据的设备分簇方法、装置、设备、系统及介质,涉及计算机技术领域,首先可将多个边缘设备划分至多个设备簇,以便各边缘设备对机器学习模型进行层级联邦训练;同时,在分簇过程中,本发明可确定各边缘设备本地的机器学习模型对同一测试数据集的推理结果,并可基于该推理结果确定各边缘设备间的训练数据相似度;进而,可利用各训练数据相似度将各边缘设备划分至多个设备簇,即可在分簇过程中考虑数据异构的特点和分布情况,并将拥有相似数据的设备放在同一簇中,从而可提高簇内数据的相似性。这样,在各边缘设备进行层级联邦训练时,可确保相近的机器学习模型参数先聚合,可确保全局模型更快收敛,并可提升联邦学习效率。
-
公开(公告)号:CN117829274B
公开(公告)日:2024-05-24
申请号:CN202410230112.X
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06Q10/04 , G06N3/098 , G06N5/04 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种模型融合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在簇内聚合与全局聚合时分别确定权重系数进行加权聚合,解决了边缘计算设备的数据异构导致的模型精度受损的问题。一方面由各簇簇头为簇内各边缘计算设备确定设备权重系数,并进行加权聚合,另一方面由中心服务器确定各个簇的簇权重系数,并进行加权聚合,在两次加权聚合时分别参考对应的模型性能进行权重系数的确定,不但可以根据重要性区别调节对于各边缘计算设备的学习率,提升了全局网络模型的精度,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
公开(公告)号:CN117808125B
公开(公告)日:2024-05-24
申请号:CN202410230004.2
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种模型聚合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于对边缘计算设备中待聚合的模型参数进行筛选,解决了不重要的模型参数传输影响模型训练效率以及模型精度的问题。分别确定本地网络模型的各个模型参数对于本地网络模型性能的第一影响程度以及各个骨干网络层对于本地网络模型性能的第二影响程度,结合第一、第二影响程度对模型参数进行筛选,可剔除对本地网络模型性能影响较小的模型参数,不但降低了数据传输成本,提升了数据传输效率,而且避免了重要程度较低的模型参数对模型精度的影响,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
公开(公告)号:CN117811846A
公开(公告)日:2024-04-02
申请号:CN202410230120.4
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L9/40 , H04L67/10 , H04L41/142 , G06N3/045 , G06N3/098
Abstract: 本发明公开了一种基于分布式系统的网络安全检测方法、系统、设备及介质,涉及网络安全领域,为解决边缘计算设备采用固定大小的本地网络安全检测模型无法发挥最优性能的问题,该方法包括基于本地安全数据训练初始网络安全检测模型;将测试安全数据集输入初始网络安全检测模型后,根据两个输出网络块对应的输出值调整初始网络安全检测模型的神经网络深度得到本地网络安全检测模型;当满足参数更新条件时,利用本地网络安全检测模型的模型参数和关联计算设备的模型参数更新本地网络安全检测模型;通过更新后的本地网络安全检测模型进行本地网络安全检测。本发明能够使边缘计算设备发挥最优的本地网络安全检测性能,减少了通信开销和带宽需求。
-
公开(公告)号:CN117808126B
公开(公告)日:2024-05-28
申请号:CN202410230008.0
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N20/00 , G06N5/04 , G06F18/22 , G06V10/764 , G06Q10/04
Abstract: 本发明公开了一种机器学习方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在模型聚合过程中识别并剔除恶意用户的模型数据,解决了恶意用户攻击导致模型精度下降的问题。一方面边缘计算设备可以在簇内选择与自身的相关性达标的边缘计算设备的模型参数对自身的模型参数进行更新,另一方面簇头在进行簇内聚合时可以排除异常的边缘计算设备的模型参数,通过两层的风险识别,可以精准的识别并忽略异常的模型参数,排除了风险,有利于提升最终得到的全局网络模型的性能,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果,也避免了全局网络模型学习到恶意用户希望的特定行为。
-
公开(公告)号:CN117808126A
公开(公告)日:2024-04-02
申请号:CN202410230008.0
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N20/00 , G06N5/04 , G06F18/22 , G06V10/764 , G06Q10/04
Abstract: 本发明公开了一种机器学习方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在模型聚合过程中识别并剔除恶意用户的模型数据,解决了恶意用户攻击导致模型精度下降的问题。一方面边缘计算设备可以在簇内选择与自身的相关性达标的边缘计算设备的模型参数对自身的模型参数进行更新,另一方面簇头在进行簇内聚合时可以排除异常的边缘计算设备的模型参数,通过两层的风险识别,可以精准的识别并忽略异常的模型参数,排除了风险,有利于提升最终得到的全局网络模型的性能,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果,也避免了全局网络模型学习到恶意用户希望的特定行为。
-
公开(公告)号:CN117811846B
公开(公告)日:2024-05-28
申请号:CN202410230120.4
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L9/40 , H04L67/10 , H04L41/142 , G06N3/045 , G06N3/098
Abstract: 本发明公开了一种基于分布式系统的网络安全检测方法、系统、设备及介质,涉及网络安全领域,为解决边缘计算设备采用固定大小的本地网络安全检测模型无法发挥最优性能的问题,该方法包括基于本地安全数据训练初始网络安全检测模型;将测试安全数据集输入初始网络安全检测模型后,根据两个输出网络块对应的输出值调整初始网络安全检测模型的神经网络深度得到本地网络安全检测模型;当满足参数更新条件时,利用本地网络安全检测模型的模型参数和关联计算设备的模型参数更新本地网络安全检测模型;通过更新后的本地网络安全检测模型进行本地网络安全检测。本发明能够使边缘计算设备发挥最优的本地网络安全检测性能,减少了通信开销和带宽需求。
-
公开(公告)号:CN117829274A
公开(公告)日:2024-04-05
申请号:CN202410230112.X
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/098 , G06N5/04 , G06V10/764 , G06V10/82 , G06Q10/04
Abstract: 本发明公开了一种模型融合方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在簇内聚合与全局聚合时分别确定权重系数进行加权聚合,解决了边缘计算设备的数据异构导致的模型精度受损的问题。一方面由各簇簇头为簇内各边缘计算设备确定设备权重系数,并进行加权聚合,另一方面由中心服务器确定各个簇的簇权重系数,并进行加权聚合,在两次加权聚合时分别参考对应的模型性能进行权重系数的确定,不但可以根据重要性区别调节对于各边缘计算设备的学习率,提升了全局网络模型的精度,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果。
-
公开(公告)号:CN117806838A
公开(公告)日:2024-04-02
申请号:CN202410230125.7
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F9/50 , G06F18/22 , G06F18/241 , G06N20/00 , G06N5/04
Abstract: 本发明提供基于异构数据的设备分簇方法、装置、设备、系统及介质,涉及计算机技术领域,首先可将多个边缘设备划分至多个设备簇,以便各边缘设备对机器学习模型进行层级联邦训练;同时,在分簇过程中,本发明可确定各边缘设备本地的机器学习模型对同一测试数据集的推理结果,并可基于该推理结果确定各边缘设备间的训练数据相似度;进而,可利用各训练数据相似度将各边缘设备划分至多个设备簇,即可在分簇过程中考虑数据异构的特点和分布情况,并将拥有相似数据的设备放在同一簇中,从而可提高簇内数据的相似性。这样,在各边缘设备进行层级联邦训练时,可确保相近的机器学习模型参数先聚合,可确保全局模型更快收敛,并可提升联邦学习效率。
-
公开(公告)号:CN117808127B
公开(公告)日:2024-05-28
申请号:CN202410230103.0
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明公开了一种数据异构条件下的图像处理方法、联邦学习方法及装置,涉及图像处理技术领域,根据数据分布相似性对边缘计算设备分簇,簇内边缘计算设备具有相似的数据分布,可以让模型更好的捕捉到数据的特征,有效解决数据异构问题。簇内的边缘计算设备根据簇内树形聚合网络进行模型参数聚合,下层的边缘计算设备只向上一层中相应的边缘计算设备发送模型参数,而不向其他边缘计算设备发送模型参数,这样可以极大降低通信开销。边缘计算设备与边缘云服务器在联邦学习过程中进行两层模型参数聚合,得到准确可靠的图像处理模型,最终边缘计算设备使用该准确可靠的图像处理模型进行图像处理,可以提升图像处理的准确性与可靠性。
-
-
-
-
-
-
-
-
-