公开(公告)号：CN112819086A

公开(公告)日：2021-05-18

申请号：CN202110184449.8

申请日：2021-02-10

Applicant: 北京工业大学

Inventor： 刘波 ,  包文强

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 通过划分网络空间计算单隐层ReLU神经网络全局最优解的图像分类方法属于深度学习领域。对神经网络最优解的计算，考虑梯度下降等方法在优化神经网络时容易陷入到局部最优，存在优化失败可能性的问题，本发明使用一种由ReLU函数非光滑的性质使得通过该函数是否激活的若干个样本点可以将神经网络的神经元权值空间划分为若干个可微区间的方法来精准地求解神经网络的全局最优解。通过计算每个区间中的损失函数值，来确定权值空间的全局最优解。随着样本的增多，由样本划分的权值空间的数量也随之增加，加重了实验的复杂度。发明引入了局部敏感哈希原理对数据集进行优化筛选，从而降低了神经网络空间中区间的数量，提高了算法的执行效率。

公开(公告)号：CN112819086B

公开(公告)日：2024-03-15

申请号：CN202110184449.8

申请日：2021-02-10

Applicant: 北京工业大学

Inventor： 刘波 ,  包文强

IPC: G06V10/764 ,  G06V10/77 ,  G06V10/82 ,  G06N3/048 ,  G06N3/08

Abstract: 通过划分网络空间计算单隐层ReLU神经网络全局最优解的图像分类方法属于深度学习领域。对神经网络最优解的计算，考虑梯度下降等方法在优化神经网络时容易陷入到局部最优，存在优化失败可能性的问题，本发明使用一种由ReLU函数非光滑的性质使得通过该函数是否激活的若干个样本点可以将神经网络的神经元权值空间划分为若干个可微区间的方法来精准地求解神经网络的全局最优解。通过计算每个区间中的损失函数值，来确定权值空间的全局最优解。随着样本的增多，由样本划分的权值空间的数量也随之增加，加重了实验的复杂度。发明引入了局部敏感哈希原理对数据集进行优化筛选，从而降低了神经网络空间中区间的数量，提高了算法的执行效率。