-
公开(公告)号：CN116663602A
公开(公告)日：2023-08-29
申请号：CN202310775501.6
申请日：2023-06-28
Applicant: 北京交通大学
Abstract: 本发明提供一种面向持续学习的自适应平衡批归一化方法及系统，属于基于机器学习技术领域，从当前任务的数据集和内存缓冲区中抽取一个批次的样本，其中当前任务数据集中的数据是新样本，内存缓冲区中的样本是旧的任务的样本；对新样本更新内存缓冲区，以便后续任务的使用；将当前批次数据送入神经网络：对于神经网络除分类层外的每一网络层，都接着一个自适应平衡批归一化层，用于归一化网络层输出的内部表征。本发明利用基于贝叶斯的策略确定一种适当的方式来适应归一化表征中的任务贡献，能够稳定训练；加入了自适应参数调和EMA的动量，使其在训练每个任务时有足够的适应性来平衡任务统计权重，克服近因偏差带来的问题。
Search Results
1
records
(took 0.014 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
