一种分布式任务调度系统和方法

    公开(公告)号:CN112817706A

    公开(公告)日:2021-05-18

    申请号:CN201911121382.2

    申请日:2019-11-15

    Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。

    贡献度评估方法、装置、设备及可读存储介质

    公开(公告)号:CN118261263A

    公开(公告)日:2024-06-28

    申请号:CN202211701574.2

    申请日:2022-12-28

    Inventor: 祝训军

    Abstract: 本发明公开了一种贡献度评估方法、装置、设备及计算机可读存储介质,方法应用于参与联邦学习的各方参与设备,包括:在联邦学习结束后,获取各方参与设备在各轮联邦训练中本地所产生的模型更新信息;根据模型更新信息计算各个贡献度参与设备分别在各轮联邦训练中的单轮贡献值;分别将各个贡献度参与设备的单轮贡献值进行累计,得到各个贡献度参与设备分别对应的联邦总贡献值;计算第一目标设备对应的联邦总贡献值占各个贡献度参与设备的联邦总贡献值之和的比值,得到第一目标设备对联邦学习的贡献度。本发明提高了贡献度评估效率。

    一种分布式任务调度系统和方法

    公开(公告)号:CN112817706B

    公开(公告)日:2023-06-02

    申请号:CN201911121382.2

    申请日:2019-11-15

    Abstract: 本申请实施例提供了一种分布式任务调度系统及方法。方案包括:资源管理模块获取多源大数据计算环境的集群信息,创建大数据计算环境的资源管理器队列对应的资源池;模型管理模块获取待执行任务的代码包;任务管理模块基于代码包生成预设任务类型的待执行任务,向资源管理模块申请目标资源池中的目标资源,在资源申请成功后,将待执行任务调度到任务执行引擎;任务执行引擎将待执行任务发送至目标资源池对应的大数据计算环境的资源管理器队列。应用本申请实施例提供的技术方案,实现了多源大数据计算环境的资源统一管理,以及实现了多种类型任务的管理和调度,降低了大数据计算环境中业务运维成本,降低了业务代码包管理和上线的复杂度。

    一种任务处理方法、系统及装置

    公开(公告)号:CN111831424A

    公开(公告)日:2020-10-27

    申请号:CN201910307313.4

    申请日:2019-04-17

    Inventor: 祝训军 张威

    Abstract: 本发明实施例提供了一种任务处理方法、系统及装置,方法包括:获取有向无环图,根据有向无环图,确定当前待执行任务、目标处理单元、目标资源及目标算法包的信息;根据目标算法包的信息,获取目标算法包,并将目标算法包发送至目标处理单元,利用目标处理单元中的目标资源对目标算法包进行处理;可见,本方案中,有向无环图中包括每个任务对应的处理单元的信息、每个任务在其对应的处理单元中申请的资源的信息,也就是说,可以根据实际需求设定处理单元与任务之间的对应关系,同一个有向无环图中的任务可以由不同的处理单元执行,提高了方案的灵活性。

    联邦学习通信方法、系统及设备
    5.
    发明公开

    公开(公告)号:CN119544695A

    公开(公告)日:2025-02-28

    申请号:CN202311094452.6

    申请日:2023-08-28

    Abstract: 本发明公开了一种联邦学习通信方法、系统及设备,其中方法包括:在横向联邦学习的任意一轮联邦聚合过程中,接收参与当前轮次联邦聚合的各个第一客户端发送的量化模型参数和反量化器;采用目标客户端对应的反量化器反量化目标客户端对应的量化模型参数,得到还原模型参数;在得到各个第一客户端分别对应的还原模型参数后,对各个第一客户端的还原模型参数进行聚合得到聚合模型参数,将聚合模型参数反馈给各个第一客户端,本发明提供了一种横向联邦学习过程中服务端与客户端之间的通信方案,以提高联邦学习通信效率。

    一种任务处理方法、系统及装置

    公开(公告)号:CN111831424B

    公开(公告)日:2023-09-05

    申请号:CN201910307313.4

    申请日:2019-04-17

    Inventor: 祝训军 张威

    Abstract: 本发明实施例提供了一种任务处理方法、系统及装置,方法包括:获取有向无环图,根据有向无环图,确定当前待执行任务、目标处理单元、目标资源及目标算法包的信息;根据目标算法包的信息,获取目标算法包,并将目标算法包发送至目标处理单元,利用目标处理单元中的目标资源对目标算法包进行处理;可见,本方案中,有向无环图中包括每个任务对应的处理单元的信息、每个任务在其对应的处理单元中申请的资源的信息,也就是说,可以根据实际需求设定处理单元与任务之间的对应关系,同一个有向无环图中的任务可以由不同的处理单元执行,提高了方案的灵活性。

    车辆信息管理方法、装置及存储介质

    公开(公告)号:CN110415511B

    公开(公告)日:2021-08-13

    申请号:CN201810398322.4

    申请日:2018-04-28

    Abstract: 本发明公开了一种车辆信息管理方法、装置及存储介质,属于大数据处理技术领域。所述方法包括:获取N种数据源,并确定在每种数据源中出现的每个车辆的至少一个属性,以及所述至少一个属性中每个属性的属性值,然后按照相同车辆的属性进行合并的方式,将N种数据源中出现的所有车辆的属性进行合并,得到与多个车辆档案。也即,在本发明实施例中,每个车辆的车辆档案是根据N种数据源确定的,当数据源不同时,确定的车辆的信息种类也不同,因此确定的车辆档案包括的信息比较全面,且无需花费过多人力资源,有利于该车辆信息管理方法的推广。

    车辆信息管理方法、装置及存储介质

    公开(公告)号:CN110415511A

    公开(公告)日:2019-11-05

    申请号:CN201810398322.4

    申请日:2018-04-28

    Abstract: 本发明公开了一种车辆信息管理方法、装置及存储介质,属于大数据处理技术领域。所述方法包括:获取N种数据源,并确定在每种数据源中出现的每个车辆的至少一个属性,以及所述至少一个属性中每个属性的属性值,然后按照相同车辆的属性进行合并的方式,将N种数据源中出现的所有车辆的属性进行合并,得到与多个车辆档案。也即,在本发明实施例中,每个车辆的车辆档案是根据N种数据源确定的,当数据源不同时,确定的车辆的信息种类也不同,因此确定的车辆档案包括的信息比较全面,且无需花费过多人力资源,有利于该车辆信息管理方法的推广。

Patent Agency Ranking