基于异构数据的设备分簇方法、装置、设备、系统及介质

    公开(公告)号:CN117806838B

    公开(公告)日:2024-06-04

    申请号:CN202410230125.7

    申请日:2024-02-29

    Abstract: 本发明提供基于异构数据的设备分簇方法、装置、设备、系统及介质,涉及计算机技术领域,首先可将多个边缘设备划分至多个设备簇,以便各边缘设备对机器学习模型进行层级联邦训练;同时,在分簇过程中,本发明可确定各边缘设备本地的机器学习模型对同一测试数据集的推理结果,并可基于该推理结果确定各边缘设备间的训练数据相似度;进而,可利用各训练数据相似度将各边缘设备划分至多个设备簇,即可在分簇过程中考虑数据异构的特点和分布情况,并将拥有相似数据的设备放在同一簇中,从而可提高簇内数据的相似性。这样,在各边缘设备进行层级联邦训练时,可确保相近的机器学习模型参数先聚合,可确保全局模型更快收敛,并可提升联邦学习效率。

    基于分布式系统的网络安全检测方法、系统、设备及介质

    公开(公告)号:CN117811846A

    公开(公告)日:2024-04-02

    申请号:CN202410230120.4

    申请日:2024-02-29

    Abstract: 本发明公开了一种基于分布式系统的网络安全检测方法、系统、设备及介质,涉及网络安全领域,为解决边缘计算设备采用固定大小的本地网络安全检测模型无法发挥最优性能的问题,该方法包括基于本地安全数据训练初始网络安全检测模型;将测试安全数据集输入初始网络安全检测模型后,根据两个输出网络块对应的输出值调整初始网络安全检测模型的神经网络深度得到本地网络安全检测模型;当满足参数更新条件时,利用本地网络安全检测模型的模型参数和关联计算设备的模型参数更新本地网络安全检测模型;通过更新后的本地网络安全检测模型进行本地网络安全检测。本发明能够使边缘计算设备发挥最优的本地网络安全检测性能,减少了通信开销和带宽需求。

    机器学习方法、装置、设备、联邦学习系统及存储介质

    公开(公告)号:CN117808126B

    公开(公告)日:2024-05-28

    申请号:CN202410230008.0

    申请日:2024-02-29

    Abstract: 本发明公开了一种机器学习方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在模型聚合过程中识别并剔除恶意用户的模型数据,解决了恶意用户攻击导致模型精度下降的问题。一方面边缘计算设备可以在簇内选择与自身的相关性达标的边缘计算设备的模型参数对自身的模型参数进行更新,另一方面簇头在进行簇内聚合时可以排除异常的边缘计算设备的模型参数,通过两层的风险识别,可以精准的识别并忽略异常的模型参数,排除了风险,有利于提升最终得到的全局网络模型的性能,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果,也避免了全局网络模型学习到恶意用户希望的特定行为。

    机器学习方法、装置、设备、联邦学习系统及存储介质

    公开(公告)号:CN117808126A

    公开(公告)日:2024-04-02

    申请号:CN202410230008.0

    申请日:2024-02-29

    Abstract: 本发明公开了一种机器学习方法、装置、设备、联邦学习系统及存储介质,属于边缘计算领域,用于在模型聚合过程中识别并剔除恶意用户的模型数据,解决了恶意用户攻击导致模型精度下降的问题。一方面边缘计算设备可以在簇内选择与自身的相关性达标的边缘计算设备的模型参数对自身的模型参数进行更新,另一方面簇头在进行簇内聚合时可以排除异常的边缘计算设备的模型参数,通过两层的风险识别,可以精准的识别并忽略异常的模型参数,排除了风险,有利于提升最终得到的全局网络模型的性能,使中心服务器在工业设备故障预测、网络安全问题识别与图片分类时发挥最优的效果,也避免了全局网络模型学习到恶意用户希望的特定行为。

    基于分布式系统的网络安全检测方法、系统、设备及介质

    公开(公告)号:CN117811846B

    公开(公告)日:2024-05-28

    申请号:CN202410230120.4

    申请日:2024-02-29

    Abstract: 本发明公开了一种基于分布式系统的网络安全检测方法、系统、设备及介质,涉及网络安全领域,为解决边缘计算设备采用固定大小的本地网络安全检测模型无法发挥最优性能的问题,该方法包括基于本地安全数据训练初始网络安全检测模型;将测试安全数据集输入初始网络安全检测模型后,根据两个输出网络块对应的输出值调整初始网络安全检测模型的神经网络深度得到本地网络安全检测模型;当满足参数更新条件时,利用本地网络安全检测模型的模型参数和关联计算设备的模型参数更新本地网络安全检测模型;通过更新后的本地网络安全检测模型进行本地网络安全检测。本发明能够使边缘计算设备发挥最优的本地网络安全检测性能,减少了通信开销和带宽需求。

    基于异构数据的设备分簇方法、装置、设备、系统及介质

    公开(公告)号:CN117806838A

    公开(公告)日:2024-04-02

    申请号:CN202410230125.7

    申请日:2024-02-29

    Abstract: 本发明提供基于异构数据的设备分簇方法、装置、设备、系统及介质,涉及计算机技术领域,首先可将多个边缘设备划分至多个设备簇,以便各边缘设备对机器学习模型进行层级联邦训练;同时,在分簇过程中,本发明可确定各边缘设备本地的机器学习模型对同一测试数据集的推理结果,并可基于该推理结果确定各边缘设备间的训练数据相似度;进而,可利用各训练数据相似度将各边缘设备划分至多个设备簇,即可在分簇过程中考虑数据异构的特点和分布情况,并将拥有相似数据的设备放在同一簇中,从而可提高簇内数据的相似性。这样,在各边缘设备进行层级联邦训练时,可确保相近的机器学习模型参数先聚合,可确保全局模型更快收敛,并可提升联邦学习效率。

    数据异构条件下的图像处理方法、联邦学习方法及装置

    公开(公告)号:CN117808127B

    公开(公告)日:2024-05-28

    申请号:CN202410230103.0

    申请日:2024-02-29

    Abstract: 本发明公开了一种数据异构条件下的图像处理方法、联邦学习方法及装置,涉及图像处理技术领域,根据数据分布相似性对边缘计算设备分簇,簇内边缘计算设备具有相似的数据分布,可以让模型更好的捕捉到数据的特征,有效解决数据异构问题。簇内的边缘计算设备根据簇内树形聚合网络进行模型参数聚合,下层的边缘计算设备只向上一层中相应的边缘计算设备发送模型参数,而不向其他边缘计算设备发送模型参数,这样可以极大降低通信开销。边缘计算设备与边缘云服务器在联邦学习过程中进行两层模型参数聚合,得到准确可靠的图像处理模型,最终边缘计算设备使用该准确可靠的图像处理模型进行图像处理,可以提升图像处理的准确性与可靠性。

Patent Agency Ranking