一种基于多头注意力机制的个性化联邦学习方法

    公开(公告)号:CN113378243B

    公开(公告)日:2023-09-29

    申请号:CN202110792988.X

    申请日:2021-07-14

    Abstract: 本发明公开了一种基于多头注意力机制的个性化联邦学习方法,其特征在于包含以下步骤:步骤一:搭建联邦学习局部模型多头注意力机制模型:将多头注意力机制用于最经典的卷积神经网络中,通过多头注意力机制,保留关键信息,更好地进行特征提取和选择,提高识别的准确性;步骤二:搭建联邦学习全局模型多头注意力机制模型:考虑到各个局部模型的个性化问题对全局模型的影响,在将全局模型参数发送给局部模型时,根据模型的个性化特性做出相应变化。本发明可以考虑到提取特征的相关性,以及考虑到各个客户端合理的个性化带来的数据差异性的方法,能够在保证准确率提高的基础上,增加数据的个性化程度。

    一种基于多头注意力机制的个性化联邦学习方法

    公开(公告)号:CN113378243A

    公开(公告)日:2021-09-10

    申请号:CN202110792988.X

    申请日:2021-07-14

    Abstract: 本发明公开了一种基于多头注意力机制的个性化联邦学习方法,其特征在于包含以下步骤:步骤一:搭建联邦学习局部模型多头注意力机制模型:将多头注意力机制用于最经典的卷积神经网络中,通过多头注意力机制,保留关键信息,更好地进行特征提取和选择,提高识别的准确性;步骤二:搭建联邦学习全局模型多头注意力机制模型:考虑到各个局部模型的个性化问题对全局模型的影响,在将全局模型参数发送给局部模型时,根据模型的个性化特性做出相应变化。本发明可以考虑到提取特征的相关性,以及考虑到各个客户端合理的个性化带来的数据差异性的方法,能够在保证准确率提高的基础上,增加数据的个性化程度。

    适于化工厂的多种融合有毒气体分类方法及巡检机器人

    公开(公告)号:CN110228071B

    公开(公告)日:2022-04-29

    申请号:CN201910491330.8

    申请日:2019-06-06

    Abstract: 本发明公开了一种适于化工厂的多种融合有毒气体分类方法及巡检机器人,利用巡检机器人在预先铺设的轨道上定点按计划巡检,进行精确测温及多种融合有毒气体分类分析,目标气体分类方法使用ECOC输出纠错编码,将采集到的多种融合有毒气体特征信息样本作为特征向量,输入至训练好的基分类器中分离出目标气体,能够快速确定有毒气体泄漏源,并能够在有毒气体泄漏情况下发出警报。本发明有助于减少化工厂工人日常巡检的精力,节省劳动力成本,提高工作效率和安全性能。

    一种基于马尔可夫随机场的联邦学习方法

    公开(公告)号:CN112926126A

    公开(公告)日:2021-06-08

    申请号:CN202110345776.7

    申请日:2021-03-31

    Abstract: 本发明公开了一种基于马尔可夫随机场的联邦学习方法,利用联邦学习将用户在不同设备的存储的声纹特征、智能设备拍摄异常照片等特定情形,设置一键紧急呼救等报警信息,共同建立本地模型传输到云端,在确保用户隐私不泄露的前提下,将各个设备参数加入到马尔科夫随机场概率图模型G(V,E),最后上传到云端建立出一个泛化性能高的全局模型。本发明在马尔可夫随机场的加入下,使得联邦建模的参数得到进一步优化,并举例将联合建模的模型应用到家用智能家居上。

    基于联邦学习的智能电网负荷预测方法

    公开(公告)号:CN116706888A

    公开(公告)日:2023-09-05

    申请号:CN202310661574.2

    申请日:2023-06-05

    Abstract: 本申请涉及一种基于联邦学习的智能电网负荷预测方法。该方法包括:将电力数据集进行分类,分成训练集、测试集和验证集,各客户端采用训练集构建自身的基于LSTM网络的电网负荷预测模型,获得初步网络参数上传至服务器端进行联合训练,服务器端根据初步网络参数,基于MMD的模型迁移方法对基于LSTM网络的电网负荷预测全局模型进行联合训练,再使用测试集和验证集进行测试验证,获得最终网络参数,并将最终网络参数返回给各客户端更新为最终网络参数,获得各客户端的基于LSTM网络的电网负荷预测全局模型进行电力负荷预测,以确定平均绝对误差,由此,处理的数据量会大大减少,可以解决数据上传的延迟且数据量较大的问题,提高了电力的负荷预测的处理效率。

    一种用于信用卡反欺诈的联邦学习方法和装置

    公开(公告)号:CN113362160B

    公开(公告)日:2023-08-22

    申请号:CN202110635863.6

    申请日:2021-06-08

    Abstract: 本发明公开了一种用于信用卡反欺诈的联邦学习方法和装置,该方法包括:搭建具有不同欺诈类别的K个联邦学习参与方对应的局部图卷积神经网络模型;使用局部图卷积神经网络模型进行联邦学习训练;其中,采用注意力机制对联邦学习参数的聚合过程进行改进,使得每个局部图卷积神经网络模型均有与之适配的权重来进行聚合;输出全局图卷积神经网络模型,所述全局图卷积神经网络模型用于对导入的用户数据进行处理,识别其对应的欺诈类别。本发明针对现有信用卡欺诈评估方法和经典联邦学习算法的现有问题,提出了一种适应非欧式空间数据和参与方个性化特点的联邦学习算法来处理金融数据,进行信用卡反欺诈判断。

    一种基于批增量方式的联邦学习训练方法

    公开(公告)号:CN113554181B

    公开(公告)日:2023-06-23

    申请号:CN202110768514.1

    申请日:2021-07-07

    Abstract: 本发明公开了一种基于批增量方式的联邦学习训练模型。属于联邦学习训练领域,操作步骤:提出搭建具有增量学习的联邦学习框架;在联邦学习框架中保留有增量学习存在的历史遗忘性问题;针对历史遗忘性问题,通过构建本地损失更新,选择针对性的损失函数优化模型;再通过搭建联邦学习局部增量自注意力机制模型,加强具有增量学习的联邦学习框架在训练数据时的记忆,提高在联邦学习训练模型中分类任务的准确率。本发明不仅将目前所有本地模型损失的平均值添加到局部模型的损失中,帮助减少增量学习的快速遗忘的影响;还将自注意力机制用于最经典的卷积神经网络中,通过注意力机制,保留关键信息,更好地进行特征提取和选择,加强增量学习记忆。

Patent Agency Ranking