基于可编程网络的聚合通信优化方法及其系统

    公开(公告)号:CN118917382A

    公开(公告)日:2024-11-08

    申请号:CN202410921781.1

    申请日:2024-07-10

    Abstract: 本发明公开了一种基于可编程网络的聚合通信优化方法及系统,其包括计算可编程交换机的位置部署和梯度路由策略,并部署可编程交换机;训练深度神经网络模型,将模型参数的梯度切割为若干梯度数据包;根据梯度路由策略,为每个数据包标识可编程交换机编号,并发送到指定交换机;接收并在网全局梯度数据包;对在网聚合结果进行全局聚合得到全局梯度,将携带全局梯度的ACK包返回所有交换机;收到参数服务器的ACK包时,清空其中携带的梯度片段使用的聚合器的标识符字段,释放相关内存资源,并广播ACK包给所有工作节点;用ACK包中的全局梯度更新深度神经网络模型的参数,完成一次梯度聚合通信,基于更新参数进行下一次梯度计算和聚合通信。

    数据处理方法、装置、计算机设备及可读介质

    公开(公告)号:CN116781703A

    公开(公告)日:2023-09-19

    申请号:CN202210232264.4

    申请日:2022-03-09

    Abstract: 本公开提供一种数据处理方法,响应于接收到工作节点发送的携带有所述工作节点的网络吞吐量信息的策略更新请求消息,根据网络吞吐量信息更新全局网络吞吐量信息;在接收到全部工作节点发送的策略更新请求消息的情况下,根据全局网络吞吐量信息确定数据分配信息;响应于根据预设的第一阈值、数据分配信息和历史数据分配信息确定出满足预设策略更新条件,向各工作节点发送携带有数据分配信息的策略响应消息。加速基于广域网的算力网络所承载的分布式应用的数据汇聚和分发过程,提高通信效率;动态地为不同汇聚节点分配不同规模的数据量,实现对当前广域网带宽资源的高效利用。本公开还提供一种数据处理方法、数据处理装置、计算机设备和可读介质。

Patent Agency Ranking