07.类神经网络训练--局部最小值与鞍点

发布时间 2023-06-02 17:38:16作者: Rswxgs

局部最小值于鞍点

训练模型的参数时,随着参数不断地更新,loss函数不会再继续下降,但是仍然对这个loss不满意 ,或者有时候发现一开始model就训练不起来,不论怎么更新参数loss函数都不会掉下去。我们认为在某个地方参数对loss的微分是0,于是梯度下降就失去了作用,这个时候训练就停止了,这个现象称为梯度消失,对于这个微分为0的地方,首先想到的会是局部最小值。但是不是只有局部最小值处的梯度为0,还有鞍点(saddle point)可能梯度也是0

 

于是我们便想知道,究竟是卡在了局部最优解处还是卡在了鞍点

 

  • 特征值全大于零,局部最小值

  • 小于零,局部最大值

  • 有正有负,鞍点

但是有亿点麻烦。有个线性代数的方法,可以很快的判断。这涉及到正定矩阵(positive definite),还有特征值(eigen values)。只要知道特征值的情况,求可以得到H是什么矩阵,继而推出第三项的正负情况。