公开(公告)号：CN116032431B

公开(公告)日：2023-09-12

申请号：CN202310125280.8

申请日：2023-02-06

Applicant: 哈尔滨工业大学(深圳)

Inventor： 夏文 ,  吴东磊 ,  杨潍豪 ,  李诗逸

IPC: H04L1/00 ,  G06N3/098

Abstract: 本申请实施例公开了针对分布式学习的通信压缩方法以及相关设备，用于提升通信效率。本申请实施例方法包括：将目标神经网络中每层的参数划分为至少一个备选参数块，其中每层对应的多个备选参数块中每个备选参数块包含的备选参数对应的相对位置索引相同；从每层对应的多个备选参数块中选择至少一个参数块，确定为每层对应的目标参数块；基于每层对应的目标参数块，确定每层对应的待同步参数块，其中待同步参数块与目标参数块一一对应，每层对应的待同步参数块的第一范数的期望值、与所述每层对应的备选参数块的第一范数的期望值相同；将每层对应的待同步参数块以及每层对应的位置索引发送至聚合装置。

公开(公告)号：CN116032431A

公开(公告)日：2023-04-28

申请号：CN202310125280.8

申请日：2023-02-06

Applicant: 哈尔滨工业大学(深圳)

Inventor： 夏文 ,  吴东磊 ,  杨潍豪 ,  李诗逸

IPC: H04L1/00 ,  G06N3/098

Abstract: 本申请实施例公开了针对分布式学习的通信压缩方法以及相关设备，用于提升通信效率。本申请实施例方法包括：将目标神经网络中每层的参数划分为至少一个备选参数块，其中每层对应的多个备选参数块中每个备选参数块包含的备选参数对应的相对位置索引相同；从每层对应的多个备选参数块中选择至少一个参数块，确定为每层对应的目标参数块；基于每层对应的目标参数块，确定每层对应的待同步参数块，其中待同步参数块与目标参数块一一对应，每层对应的待同步参数块的第一范数的期望值、与所述每层对应的备选参数块的第一范数的期望值相同；将每层对应的待同步参数块以及每层对应的位置索引发送至聚合装置。