-
公开(公告)号：CN114422606A
公开(公告)日：2022-04-29
申请号：CN202210249791.6
申请日：2022-03-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本申请公开了一种联邦学习的通信开销压缩方法、装置、设备及介质，包括：根据联邦学习中的模型参数在训练前后的变化幅度确定基本参数，并将基本参数所在的卷积核中的所有模型参数确定为待传输参数；基于卷积核的目标特征将卷积核中的待传输参数封装至不同数据包中；对不同数据包中的待传输参数进行二值量化，并对待传输参数对应的索引进行位置编码，如此一来，由于一个卷积核内所有待传输参数的位置信息都是固定的，因此一个索引可以反应整个卷积核中所有待传输参数的位置信息，一定程度上降低了索引的通信开销，同时，本申请通过对待传输参数进行量化，对待传输参数对应的索引进行位置编码，进一步减少了通信开销。
-
公开(公告)号：CN114422606B
公开(公告)日：2022-06-28
申请号：CN202210249791.6
申请日：2022-03-15
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本申请公开了一种联邦学习的通信开销压缩方法、装置、设备及介质，包括：根据联邦学习中的模型参数在训练前后的变化幅度确定基本参数，并将基本参数所在的卷积核中的所有模型参数确定为待传输参数；基于卷积核的目标特征将卷积核中的待传输参数封装至不同数据包中；对不同数据包中的待传输参数进行二值量化，并对待传输参数对应的索引进行位置编码，如此一来，由于一个卷积核内所有待传输参数的位置信息都是固定的，因此一个索引可以反应整个卷积核中所有待传输参数的位置信息，一定程度上降低了索引的通信开销，同时，本申请通过对待传输参数进行量化，对待传输参数对应的索引进行位置编码，进一步减少了通信开销。
-
公开(公告)号：CN114418098A
公开(公告)日：2022-04-29
申请号：CN202210255131.9
申请日：2022-03-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明提供一种神经网络差量压缩方法、装置、电子设备及存储介质，该方法在获取到神经网络的两个相邻训练版本时，可为这些版本所包含的各网络层生成专用的量化参数，并利用这些量化参数为对应的网络层进行浮点参数量化处理，得到训练版本对应的整数版本，再利用这些整数版本替代训练版本进行差量数据计算及差量压缩。换而言之，本发明为神经网络模型的每一网络层设置了生成的专用的量化参数，可采用不同力度对每一网络层进行针对性量化，相较于全局量化策略额外考虑了神经网络模型不同网络层之间的参数取值差异，能够有效避免将整个网络的浮点数参数看作一个集合来确定全局的量化参数所导致的量化误差增大及模型的精度下降问题。
-
-
Search Results
3
records
(took 0.034 seconds)
