一种在FC网络上传输IP和CAN业务的方法

    公开(公告)号:CN107483370B

    公开(公告)日:2020-07-03

    申请号:CN201710827605.1

    申请日:2017-09-14

    Abstract: 本发明公开了一种在FC网络上传输IP和CAN业务的方法,涉及FC网络传输领域;其方法步骤包括1)在HBA卡上构建内核模块,内核模块根据配置文件和配置软件初始化得初始化信息;2)FC接口层根据初始化信息将以太网帧或CAN帧封装为FC‑AE‑ASM帧并发送给HBA卡使能发送数据;3)FC接口层接收模块利用数据区别帧类型,将FC‑AE‑ASM帧解封装为以太网帧或CAN帧并送至对应上层协议栈、CAN协议软件;本发明将HBA卡作为物理传输设备,通过设计内核模块、配置软件和FC接口层,实现在FC网络上传输IP和CAN业务,提高了FC‑AE网络数据传输编程接口的易用性,同时扩展了IP业务和CAN业务在高可靠性控制网络中的应用需求;设置调度缓冲机制,利用FC‑AE底层流控机制实现UDP传输零丢包。

    一种面向分布式机器学习参数同步差异化数据传输方法

    公开(公告)号:CN110958187B

    公开(公告)日:2021-05-18

    申请号:CN201911300999.0

    申请日:2019-12-17

    Abstract: 本发明公开了一种面向分布式机器学习参数同步差异化数据传输方法,将等待同步的结构化梯度张量按照其张量结构,从更细粒度进行数据拆分之后衡量数据对模型收敛的贡献,依据梯度的贡献度,本发明提供差异化传输质量(可靠性、传输时延)的梯度传输方案;对模型收敛贡献度高的数据得到更高的传输可靠性和更低的传输时延;差异化的梯度数据传输方法使得在有限的网络资源下,数据传输更加高效;从而解决在保证模型收敛的同时降低参数同步的通信开销的问题。

    一种面向分布式机器学习参数同步差异化数据传输方法

    公开(公告)号:CN110958187A

    公开(公告)日:2020-04-03

    申请号:CN201911300999.0

    申请日:2019-12-17

    Abstract: 本发明公开了一种面向分布式机器学习参数同步差异化数据传输方法,将等待同步的结构化梯度张量按照其张量结构,从更细粒度进行数据拆分之后衡量数据对模型收敛的贡献,依据梯度的贡献度,本发明提供差异化传输质量(可靠性、传输时延)的梯度传输方案;对模型收敛贡献度高的数据得到更高的传输可靠性和更低的传输时延;差异化的梯度数据传输方法使得在有限的网络资源下,数据传输更加高效;从而解决在保证模型收敛的同时降低参数同步的通信开销的问题。

    基于分布式机器学习的同步训练方法、服务器及系统

    公开(公告)号:CN111444021B

    公开(公告)日:2023-03-24

    申请号:CN202010254049.5

    申请日:2020-04-02

    Abstract: 本发明公开了一种基于分布式机器学习的同步训练方法、服务器及系统,状态查询服务器的训练方法包括监听来自计算服务器的状态消息,更新状态数据库中当前计算服务器的状态,根据状态数据库中所有计算服务器的实时状态和任务进度决策当前计算服务器的下一动作,并将携带下一动作的状态响应消息发送给当前计算服务器;计算服务器的训练方法包括循环执行以下动作:向状态查询服务器发送状态消息,根据状态查询服务器反馈的状态响应消息决定下一动作:继续本地计算,或立即全局聚合。服务器系统由通过广域网互联的中心机构与若干参与机构的服务器构成;中心机构包括参数服务器和状态查询服务器;参与机构包括数据库服务器和计算服务器。

    一种基于分层参数服务器的多机构协同学习系统及方法

    公开(公告)号:CN110995488A

    公开(公告)日:2020-04-10

    申请号:CN201911220964.6

    申请日:2019-12-03

    Abstract: 本发明公开了一种基于分层参数服务器的多机构协同学习系统,包括中心机构,以及与所述中心机构通过WAN网连接的若干个参与机构。基于上述系统,本发明还公开了一种基于分层参数服务器的多机构协同学习方法。本发明解决了大数据的数据孤岛问题,解决了多方协作时的数据隐私安全问题,解决了现有系统的高通信代价、高维护成本、高安全风险、低资源利用率问题。本发明在保障数据隐私安全的前提下实现了通信高效、计算高效的多方协同学习,适用于多独立机构、多数据中心的跨域互联。本发明所提出的系统支持平台模式和参与模式,既能用作平台提供多方知识融合服务,也能用作工具支持多个独立机构间的共享协作。

    一种在FC网络上传输IP和CAN业务的方法

    公开(公告)号:CN107483370A

    公开(公告)日:2017-12-15

    申请号:CN201710827605.1

    申请日:2017-09-14

    Abstract: 本发明公开了一种在FC网络上传输IP和CAN业务的方法,涉及FC网络传输领域;其方法步骤包括1)在HBA卡上构建内核模块,内核模块根据配置文件和配置软件初始化得初始化信息;2)FC接口层根据初始化信息将以太网帧或CAN帧封装为FC-AE-ASM帧并发送给HBA卡使能发送数据;3)FC接口层接收模块利用数据区别帧类型,将FC-AE-ASM帧解封装为以太网帧或CAN帧并送至对应上层协议栈、CAN协议软件;本发明将HBA卡作为物理传输设备,通过设计内核模块、配置软件和FC接口层,实现在FC网络上传输IP和CAN业务,提高了FC-AE网络数据传输编程接口的易用性,同时扩展了IP业务和CAN业务在高可靠性控制网络中的应用需求;设置调度缓冲机制,利用FC-AE底层流控机制实现UDP传输零丢包。

    一种联邦学习的模型分发与聚合的传输调度方法

    公开(公告)号:CN111580970B

    公开(公告)日:2023-02-03

    申请号:CN202010377635.9

    申请日:2020-05-07

    Abstract: 本发明公开了一种联邦学习的模型分发与聚合的传输调度方法,涉及模型训练通信技术领域,该方法通过调度节点实现对各执行节点的在线调度,使已拥有最新全局模型的执行节点,向不具有最新全局模型的执行节点传输最新全局模型,直至所有的执行节点均拥有最新全局模型;通过调度节点实现对各执行节点的在线调度,使各执行节点之间进行模型数据的局部聚合,所有模型数据的聚合方向最终均指向中心服务器,直至所有参与节点的本地模型数据均聚合至中心服务器。本发明充分利用参与节点间的带宽资源加速模型通信,缓解了模型分发或聚合过程中流组的盲目竞争,减小了带宽受限的域间网络的拥塞程度,大大提高了联邦学习模型的训练效率,不会降低模型质量。

    一种基于分层参数服务器的多机构协同学习系统及方法

    公开(公告)号:CN110995488B

    公开(公告)日:2020-11-03

    申请号:CN201911220964.6

    申请日:2019-12-03

    Abstract: 本发明公开了一种基于分层参数服务器的多机构协同学习系统,包括中心机构,以及与所述中心机构通过WAN网连接的若干个参与机构。基于上述系统,本发明还公开了一种基于分层参数服务器的多机构协同学习方法。本发明解决了大数据的数据孤岛问题,解决了多方协作时的数据隐私安全问题,解决了现有系统的高通信代价、高维护成本、高安全风险、低资源利用率问题。本发明在保障数据隐私安全的前提下实现了通信高效、计算高效的多方协同学习,适用于多独立机构、多数据中心的跨域互联。本发明所提出的系统支持平台模式和参与模式,既能用作平台提供多方知识融合服务,也能用作工具支持多个独立机构间的共享协作。

    一种联邦学习的模型分发与聚合的传输调度方法

    公开(公告)号:CN111580970A

    公开(公告)日:2020-08-25

    申请号:CN202010377635.9

    申请日:2020-05-07

    Abstract: 本发明公开了一种联邦学习的模型分发与聚合的传输调度方法,涉及模型训练通信技术领域,该方法通过调度节点实现对各执行节点的在线调度,使已拥有最新全局模型的执行节点,向不具有最新全局模型的执行节点传输最新全局模型,直至所有的执行节点均拥有最新全局模型;通过调度节点实现对各执行节点的在线调度,使各执行节点之间进行模型数据的局部聚合,所有模型数据的聚合方向最终均指向中心服务器,直至所有参与节点的本地模型数据均聚合至中心服务器。本发明充分利用参与节点间的带宽资源加速模型通信,缓解了模型分发或聚合过程中流组的盲目竞争,减小了带宽受限的域间网络的拥塞程度,大大提高了联邦学习模型的训练效率,不会降低模型质量。

    基于分布式机器学习的同步训练方法、服务器及系统

    公开(公告)号:CN111444021A

    公开(公告)日:2020-07-24

    申请号:CN202010254049.5

    申请日:2020-04-02

    Abstract: 本发明公开了一种基于分布式机器学习的同步训练方法、服务器及系统,状态查询服务器的训练方法包括监听来自计算服务器的状态消息,更新状态数据库中当前计算服务器的状态,根据状态数据库中所有计算服务器的实时状态和任务进度决策当前计算服务器的下一动作,并将携带下一动作的状态响应消息发送给当前计算服务器;计算服务器的训练方法包括循环执行以下动作:向状态查询服务器发送状态消息,根据状态查询服务器反馈的状态响应消息决定下一动作:继续本地计算,或立即全局聚合。服务器系统由通过广域网互联的中心机构与若干参与机构的服务器构成;中心机构包括参数服务器和状态查询服务器;参与机构包括数据库服务器和计算服务器。

Patent Agency Ranking