`
zhangxiong0301
  • 浏览: 358804 次
社区版块
存档分类
最新评论

最速梯度下降法

 
阅读更多

梯度下降法是一个一阶最优化算法,通常也称为最速下降法

梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。

    最速下降法的一种简单形式是:x(k+1)=x(k)-a*g(k),其中a称为学习速率,可以是较小的常数。g(k)是x(k)的梯度。

    直观的说,就是在一个有中心的等值线中,从初始值开始,每次沿着垂直等值线方向移动一个小的距离,最终收敛在中心。 

    对于某一个性能指数,我们能够运用梯度下降法,使这个指数降到最小。若该指数为均方误差,我们便得到了最小均方误差(LMS)算法。

Gradient_descent_1

Gradient_descent_2

Gradient_descent_3

Gradient_descent_4

Gradient_descent_5

Gradient_descent_6

Gradient_descent_7

Gradient_descent_8

 

分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics