面向非独立同分布数据的联邦对比聚类学习方法及系统

    公开(公告)号:CN115563519A

    公开(公告)日:2023-01-03

    申请号:CN202211267754.4

    申请日:2022-10-17

    Abstract: 本发明公开了一种面向非独立同分布数据的联邦对比聚类学习方法及系统,属于联邦学习技术领域,包括:在中心服务器端将共享模型和原型矩阵分别下发到所挑选的各客户端中进行聚类对比训练,进行聚类对比训练时模型并不关注数据的分布,而只关注于数据聚类信息之间的对比关系,基于自监督对比学习关注局部特征的特点,缓解了对全局分布的依赖,从而改善了模型由于不平衡的数据分布而产生的偏移,也能够较好的表示数据的类分布并改善由类不平衡所引起的Non‑IID问题,同时也能够消除联邦学习对有标签数据的依赖,能够解决现有的联邦学习方法由于存Non‑IID数据分布问题所导致的模型准确率较低以及由于依赖标签数据所导致的无法在实际生产中进行应用的技术问题。

    一种基于结构特征知识的知识蒸馏方法及系统

    公开(公告)号:CN115496213A

    公开(公告)日:2022-12-20

    申请号:CN202211014591.9

    申请日:2022-08-23

    Abstract: 本发明公开了一种基于结构特征知识的知识蒸馏方法及系统,属于模型压缩技术领域,包括:S1、搭建学生网络和教师网络;其中,教师网络加载有训练好的模型,为全精度神经网络;学生网络为二值神经网络;S2、将预先采集好的第二训练样本集分别输入至学生网络和教师网络中,通过同时最小化学生网络和教师网络的中间层特征之间的差异、以及学生网络和教师网络中关系特征之间的差异,对学生网络和教师网络进行训练,从而实现对教师网络的模型压缩。通过上述过程,本发明能够缩小师生网络在中间结构上存在巨大差异,以解决由于分布差异问题导致的知识迁移受限及学生网络的过拟合问题,神经网络模型压缩的准确度较高。

    一种分布式的互联网重要地址空间检索系统

    公开(公告)号:CN107087001B

    公开(公告)日:2019-12-17

    申请号:CN201710339031.3

    申请日:2017-05-15

    Abstract: 本发明公开了一种分布式的互联网重要地址空间检索系统,用于防范针对网站组件和主机设备的漏洞攻击,维护互联网安全。通过系统管理模块导入待扫描网站列表,管理网站组件指纹,提交即时扫描任务并查看任务进度,收集系统中各部分运行状态并进行管理和控制;通过网站信息收集模块对待扫描网站列表中的域名或IP地址进行页面爬取、网站组件识别、主机扫描、端口探测;通过数据库模块保存待扫描网站列表、网站组件指纹、扫描策略以及扫描结果;通过检索和统计模块对保存的扫描结果进行关键字检索,并对检索结果进行统计分析;通过WebUI模块提供用户和系统交互的Web界面。有效组织和合理配置系统资源,并对所有功能部件进行动态管理和使用。

    一种分布式的互联网重要地址空间检索系统

    公开(公告)号:CN107087001A

    公开(公告)日:2017-08-22

    申请号:CN201710339031.3

    申请日:2017-05-15

    Abstract: 本发明公开了一种分布式的互联网重要地址空间检索系统,用于防范针对网站组件和主机设备的漏洞攻击,维护互联网安全。通过系统管理模块导入待扫描网站列表,管理网站组件指纹,提交即时扫描任务并查看任务进度,收集系统中各部分运行状态并进行管理和控制;通过网站信息收集模块对待扫描网站列表中的域名或IP地址进行页面爬取、网站组件识别、主机扫描、端口探测;通过数据库模块保存待扫描网站列表、网站组件指纹、扫描策略以及扫描结果;通过检索和统计模块对保存的扫描结果进行关键字检索,并对检索结果进行统计分析;通过WebUI模块提供用户和系统交互的Web界面。有效组织和合理配置系统资源,并对所有功能部件进行动态管理和使用。

    一种数据确权方法、数据管理方法及系统

    公开(公告)号:CN119272305A

    公开(公告)日:2025-01-07

    申请号:CN202411384546.1

    申请日:2024-09-30

    Abstract: 本发明公开了一种数据确权方法、数据管理方法及系统,属于数据确权技术领域;通过将授权机构的分布式数字身份标识符作为属性嵌入预设访问策略以约定授权机构具有解密数据并审查数据明文的权利,将数据所有者的分布式数字身份标识作为属性嵌入预设访问策略以明确对确权数据的所有权,然后采用全局参数和属性嵌入后的预设访问策略对确权数据进行加密,并将所得数据密文提交到授权机构中进行确权,保证了数据的安全性和隐私性;同时,所得数据所有权声明中直接携带有授权机构的分布式数字身份标识符信息,使得在后续对数据所有权声明进行认证的过程中无需再联合进行数据确权的授权机构进行认证,使得数据所有权声明能够在不同平台间易于互通互认。

    一种加权聚合的联邦蒸馏方法及系统

    公开(公告)号:CN115526334A

    公开(公告)日:2022-12-27

    申请号:CN202211067316.3

    申请日:2022-09-01

    Abstract: 本发明公开了一种加权聚合的联邦蒸馏方法及系统,属于联邦学习技术领域;本发明通过中心服务器端将本地生成器分别下发给各客户端,并在各客户端中分别将其中的本地生成器进行分布式训练,最后再返回给中心服务器端进行全局聚合以来模拟全局数据分布,从而代替了直接引入外源数据,从未提高了联邦蒸馏方法的可用性;此外,本发明还在各客户端中均引入了一个小型的判别器,通过训练使其输出蒸馏数据在本地数据中对应的概率密度,并以此概率密度进行加权平均,获取准确度更高的教师软标签,来提升蒸馏效率和训练所得模型精度,从而提高了数据集非独立同分布场景下联邦学习训练模型的准确率。

    一种应用于边缘设备的模型训练方法及系统

    公开(公告)号:CN113780535A

    公开(公告)日:2021-12-10

    申请号:CN202111137522.2

    申请日:2021-09-27

    Abstract: 本发明公开了一种应用于边缘设备的模型训练方法及系统,属于模型压缩和迁移学习领域,包括:在边缘设备中加载预训练好的原模型,并识别出其中由Point‑wise卷积层、Depth‑wise卷积层和Point‑wise卷积层依次连接构成的残差块;在残差块的基础上加入对应的轻架构,以将原模型转换为目标模型;轻架构由Group‑wise卷积层和Point‑wise卷积层组成;利用目标任务数据集对目标模型进行训练,并通过两步压缩的方式先后对目标模型中的共享参数和非共享参数进行压缩,从而完成对目标模型的训练和压缩;两步压缩为常规的两步压缩、基于激活值的两步压缩或基于压缩训练的两步压缩。本发明能够提高边缘设备中模型训练效率,并减少模型训练过程以及推理过程中占用的存储空间和计算复杂度。

    一种应用于边缘设备的模型训练方法及系统

    公开(公告)号:CN113780535B

    公开(公告)日:2024-06-04

    申请号:CN202111137522.2

    申请日:2021-09-27

    Abstract: 本发明公开了一种应用于边缘设备的模型训练方法及系统,属于模型压缩和迁移学习领域,包括:在边缘设备中加载预训练好的原模型,并识别出其中由Point‑wise卷积层、Depth‑wise卷积层和Point‑wise卷积层依次连接构成的残差块;在残差块的基础上加入对应的轻架构,以将原模型转换为目标模型;轻架构由Group‑wise卷积层和Point‑wise卷积层组成;利用目标任务数据集对目标模型进行训练,并通过两步压缩的方式先后对目标模型中的共享参数和非共享参数进行压缩,从而完成对目标模型的训练和压缩;两步压缩为常规的两步压缩、基于激活值的两步压缩或基于压缩训练的两步压缩。本发明能够提高边缘设备中模型训练效率,并减少模型训练过程以及推理过程中占用的存储空间和计算复杂度。

    联邦学习方法、服务端设备、客户端设备及系统

    公开(公告)号:CN117350405A

    公开(公告)日:2024-01-05

    申请号:CN202311483682.1

    申请日:2023-11-08

    Abstract: 本公开提供一种联邦学习方法、服务端设备、客户端设备及系统,服务端设备根据获得的至少部分客户端设备的第i轮客户端梯度数据确定第i轮全局网络模型,并根据第i轮全局网络模型、以及服务端设备存储的任意客户端设备的第i轮局部网络模型,确定针对任意客户端设备的第i+1轮服务端梯度数据,以向任意客户端设备发送该第i+1轮服务端梯度数据,一方面,根据部分客户端设备的客户端梯度数据实现迭代更新,可以实现异步联邦学习,从而减少服务端设备的等待时间,提高联邦学习的效率;另一方面,服务端设备向客户端设备发送服务端梯度数据,可以减少服务端设备与客户端设备之间交互的信息的数据量,从而减少通信资源的消耗。

    一种基于元学习的图像分类模型的训练方法及应用

    公开(公告)号:CN115564987A

    公开(公告)日:2023-01-03

    申请号:CN202211128442.5

    申请日:2022-09-16

    Abstract: 本发明公开了一种基于元学习的图像分类模型的训练方法及应用,图像分类技术领域,在元学习的预训练阶段的第一轮内循环迭代结束时,对子任务模型进行剪枝操作,在保证模型精度的情况下省去了很多不必要的计算,大大减少了预训练阶段以及微调阶段的计算量,降低了元学习微调阶段在移动终端设备上的门槛;与此同时,本发明通过预训练完成后的微调阶段来弥补剪枝所带来的精度损失,能够在不改变模型精度的情况下降低了模型的大小,从而在移动终端设备上实现了快速高效的训练。

Patent Agency Ranking