一种神经网络模型优化方法、装置、电子设备及存储介质

    公开(公告)号:CN116108894A

    公开(公告)日:2023-05-12

    申请号:CN202310230121.4

    申请日:2023-03-10

    Abstract: 本发明公开了一种神经网络模型优化方法、装置、电子设备及存储介质,属于深度学习技术领域,方法包括:根据神经网络模型的特征,构建增广拉格朗日目标函数;根据所述增广拉格朗日目标函数,确定所述神经网络模型中每个优化变量对应的优化子问题的目标函数;对所述神经网络模型的各参数进行初始化设置;根据所述优化子问题的目标函数,对所述神经网络模型进行优化变量的更新,以实现对所述神经网络模型的优化。该方法能够弥补基于梯度优化器所涉及的对初始数据敏感和梯度消失的缺陷,解决ADMM算法对非严格凸目标函数表现不好且优化效率低的问题。

Patent Agency Ranking