-
公开(公告)号：CN118101501A
公开(公告)日：2024-05-28
申请号：CN202410487452.0
申请日：2024-04-23
Applicant: 山东大学
IPC: H04L41/16 , H04L41/045 , H04L41/0823 , H04L41/0894 , G06N20/20
Abstract: 一种工业物联网异构联邦学习的通信方法和系统，属于联邦学习系统通信优化技术领域。通过以下技术方案实现：建立联邦学习架构；初始化全局模型，随机选择客户端节点下发全局模型，进行本地模型训练；触发多粒度量化模块量化更新后的本地模型参数；中心服务器接收到各设备节点上传的模型更新，将量化的模型更新传入到解量化模块中进行解量化；中心服务器将解量化后的结果送入阶段聚合模块实现模型参数聚合，重复迭代直到本次联邦学习到达预定的训练轮数，结束训练，将训练好的模型部署至工厂智能终端设备。本发明在保持模型精度的同时大大降低了各设备节点的通信成本，加快了全局模型收敛，具有良好的泛化性。
-
公开(公告)号：CN117392483B
公开(公告)日：2024-02-23
申请号：CN202311657248.0
申请日：2023-12-06
Applicant: 山东大学
IPC: G06V10/774 , G06V10/94 , G06V10/764 , G06V20/30 , G06F16/55 , G06N20/00
Abstract: 本申请涉及联邦学习大模型训练加速技术领域，公开基于增强学习的相册分类模型训练加速方法、系统及介质。具体是在手机相册本地智能分类场景中，将手机上传的模型更新的聚合问题转化为增强学习的目标问题，基于增强学习在云服务器中建立手机相册本地分类模型的Q表，Q表中的Q值最大的动作是当前状态下最优的聚合权重分配方案，能够精确表示各个参与联邦学习的手机对全局模型的贡献。在手机相册分类模型聚合过程中提升了聚合后的模型质量，加快了模型收敛速度，降低了通信开销。
-
公开(公告)号：CN118779677B
公开(公告)日：2025-03-25
申请号：CN202411274082.9
申请日：2024-09-12
Applicant: 山东大学
IPC: G06F18/232 , G06F18/214
Abstract: 本申请涉及联邦学习技术领域，涉及车联网环境下基于聚类的高效联邦分割学习方法及装置。汽车端采集本地数据，所述本地数据为被标记的道路信息图片，汽车端将收集的本地数据的标签信息组织成类别向量发送至云服务器；云服务器使用聚类算法将所有汽车端的本地数据聚类分组，计算各组间余弦相似性矩阵；判断各组间的相似性，如果各组间的相似性小于指定阈值，则进行个性化联邦学习，否则进行非个性化联邦学习。本发明解决了在车联网场景下联邦分割学习中由于数据非独立同分布带来的收敛速度和收敛精度下降问题以及由于汽车端数量过多带来的服务器资源不足问题。
-
公开(公告)号：CN117392483A
公开(公告)日：2024-01-12
申请号：CN202311657248.0
申请日：2023-12-06
Applicant: 山东大学
IPC: G06V10/774 , G06V10/94 , G06V10/764 , G06V20/30 , G06F16/55 , G06N20/00
Abstract: 本申请涉及联邦学习大模型训练加速技术领域，公开基于增强学习的相册分类模型训练加速方法、系统及介质。具体是在手机相册本地智能分类场景中，将手机上传的模型更新的聚合问题转化为增强学习的目标问题，基于增强学习在云服务器中建立手机相册本地分类模型的Q表，Q表中的Q值最大的动作是当前状态下最优的聚合权重分配方案，能够精确表示各个参与联邦学习的手机对全局模型的贡献。在手机相册分类模型聚合过程中提升了聚合后的模型质量，加快了模型收敛速度，降低了通信开销。
-
Patent Agency Ranking
公开(公告)号：CN114417417A
公开(公告)日：2022-04-29
申请号：CN202210079619.0
申请日：2022-01-24
Applicant: 山东大学
Abstract: 本发明属于机器学习技术领域与分布式系统技术领域，提供了基于联邦学习的工业物联网隐私保护系统及方法。其中该系统包括服务器节点和若干相互通信的客户端节点；服务器节点内预存有初始全局模型，用于根据不同客户端节点上传的自身拥有的数据类别，将工业物联网参与训练的客户端节点划分成不同的组；基于数据类别感知的客户端选择算法，在每一轮通信中向选择不同组的客户端节点下发联邦学习的全局模型；客户端节点用于在本地利用自身数据对接收到的全局模型进行训练，并将训练完成的本地模型上传至服务器节点；服务器节点还用于使用加权平均的策略对若干个本地模型进行聚合并形成新的全局模型，直至达到设定要求，结束迭代。
-
公开(公告)号：CN118779677A
公开(公告)日：2024-10-15
申请号：CN202411274082.9
申请日：2024-09-12
Applicant: 山东大学
IPC: G06F18/232 , G06F18/214
Abstract: 本申请涉及联邦学习技术领域，涉及车联网环境下基于聚类的高效联邦分割学习方法及装置。汽车端采集本地数据，所述本地数据为被标记的道路信息图片，汽车端将收集的本地数据的标签信息组织成类别向量发送至云服务器；云服务器使用聚类算法将所有汽车端的本地数据聚类分组，计算各组间余弦相似性矩阵；判断各组间的相似性，如果各组间的相似性小于指定阈值，则进行个性化联邦学习，否则进行非个性化联邦学习。本发明解决了在车联网场景下联邦分割学习中由于数据非独立同分布带来的收敛速度和收敛精度下降问题以及由于汽车端数量过多带来的服务器资源不足问题。
-
公开(公告)号：CN113435125A
公开(公告)日：2021-09-24
申请号：CN202110764239.6
申请日：2021-07-06
Applicant: 山东大学
Abstract: 本发明提供了一种面向联邦物联网系统的模型训练加速方法与系统，在全局单轮迭代中，接收客户机所上传的分类模型；当完整收到所有客户机提供的分类模型或截止时间到期，计算客户机上传模型与本轮下发的全局模型的变化量；对已收到的模型的特征提取层参数的变化量进行模型聚合；对分类层参数变化量进行分析，确定不同客户机对全局模型分类的贡献度，确定不同客户机对输出层不同神经元的权重；对于每个客户机上分类层神经元的参数变化量用相应权重值进行加权求和，获得新全局模型的分类层模型参数变化量，将特征提取层和分类层重新拼接获得新的全局模型。本发明可以提升面向物联网的联邦学习系统的性能和处理速度。
-
公开(公告)号：CN118101501B
公开(公告)日：2024-07-05
申请号：CN202410487452.0
申请日：2024-04-23
Applicant: 山东大学
IPC: H04L41/16 , H04L41/045 , H04L41/0823 , H04L41/0894 , G06N20/20
Abstract: 一种工业物联网异构联邦学习的通信方法和系统，属于联邦学习系统通信优化技术领域。通过以下技术方案实现：建立联邦学习架构；初始化全局模型，随机选择客户端节点下发全局模型，进行本地模型训练；触发多粒度量化模块量化更新后的本地模型参数；中心服务器接收到各设备节点上传的模型更新，将量化的模型更新传入到解量化模块中进行解量化；中心服务器将解量化后的结果送入阶段聚合模块实现模型参数聚合，重复迭代直到本次联邦学习到达预定的训练轮数，结束训练，将训练好的模型部署至工厂智能终端设备。本发明在保持模型精度的同时大大降低了各设备节点的通信成本，加快了全局模型收敛，具有良好的泛化性。
-
公开(公告)号：CN114417417B
公开(公告)日：2024-04-30
申请号：CN202210079619.0
申请日：2022-01-24
Applicant: 山东大学
Abstract: 本发明属于机器学习技术领域与分布式系统技术领域，提供了基于联邦学习的工业物联网隐私保护系统及方法。其中该系统包括服务器节点和若干相互通信的客户端节点；服务器节点内预存有初始全局模型，用于根据不同客户端节点上传的自身拥有的数据类别，将工业物联网参与训练的客户端节点划分成不同的组；基于数据类别感知的客户端选择算法，在每一轮通信中向选择不同组的客户端节点下发联邦学习的全局模型；客户端节点用于在本地利用自身数据对接收到的全局模型进行训练，并将训练完成的本地模型上传至服务器节点；服务器节点还用于使用加权平均的策略对若干个本地模型进行聚合并形成新的全局模型，直至达到设定要求，结束迭代。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.018 seconds)
