公开(公告)号：CN113642736B

公开(公告)日：2023-09-12

申请号：CN202110861852.X

申请日：2021-07-29

Applicant: 中国科学院计算技术研究所

Inventor： 潘恒 ,  崔鹏来 ,  贾茹 ,  李振宇 ,  谢高岗

IPC: G06N20/00

Abstract: 本发明公开了一种基于冷热分离的梯度聚合方法，包括以下步骤：对稀疏场景的训练数据进行随机采样以对稀疏模型进行预训练；统计该稀疏模型的预训练过程中参数的频率，并根据该频率的大小将该参数分类为热参数或冷参数；利用该稀疏场景的训练数据对该稀疏模型进行重新训练，各训练节点分别传输该重新训练过程中的热参数梯度和冷参数梯度；该热参数梯度在可编程交换机上进行聚合后发送至远程服务器进行同步，该冷参数梯度由该可编程交换机直接该发送至远程服务器上进行聚合及同步。

公开(公告)号：CN113642736A

公开(公告)日：2021-11-12

申请号：CN202110861852.X

申请日：2021-07-29

Applicant: 中国科学院计算技术研究所

Inventor： 潘恒 ,  崔鹏来 ,  贾茹 ,  李振宇 ,  谢高岗

IPC: G06N20/00

Abstract: 本发明公开了一种基于冷热分离的梯度聚合方法，包括以下步骤：对稀疏场景的训练数据进行随机采样以对稀疏模型进行预训练；统计该稀疏模型的预训练过程中参数的频率，并根据该频率的大小将该参数分类为热参数或冷参数；利用该稀疏场景的训练数据对该稀疏模型进行重新训练，各训练节点分别传输该重新训练过程中的热参数梯度和冷参数梯度；该热参数梯度在可编程交换机上进行聚合后发送至远程服务器进行同步，该冷参数梯度由该可编程交换机直接该发送至远程服务器上进行聚合及同步。

公开(公告)号：CN116708318A

公开(公告)日：2023-09-05

申请号：CN202310483691.4

申请日：2023-04-28

Applicant: 中国科学院计算技术研究所

Inventor： 崔鹏来 ,  潘恒 ,  李振宇 ,  贾茹 ,  谢高岗

IPC: H04L47/41 ,  H04L67/141

Abstract: 本发明提出一种基于硬件可编程交换机的TCP连接聚合方法和系统，包括：客户端、硬件可编程交换机和服务端；当该客户端或该服务端作为发送端向该服务端或该客户端作为接收端发送数据包时，该发送端将该数据包通过TCP连接发送至该硬件可编程交换机；该硬件可编程交换机通过修改该数据包的包头，将该数据包从发送端到硬件可编程交换机的第一连接空间映射到硬件可编程交换机到接收端的第二连接空间；该硬件可编程交换机将包头修改后的数据包通过TCP连接发送给接收端。本发明在较少连接数量的同时确保基于硬件交换机的连接削减不会影响网络系统的全面传输性能，且服务器端与客户端间的通信仍然保持面向连接的高可靠性传输。