梯度下降

约 200 个字 预计阅读时间 1 分钟

定义

梯度下降(gradient descent)是求解无约束最优化问题常用的方法，具有实现简单的有点，是迭代算法，每一步需要求解目标函数的梯度向量。

实现

选取合适的初值$x^{(0)} $，不断迭代，更新x的值，进行目标函数的极小化，直到收敛。由于负梯度方向是使函数值下降最快的方向，在迭代的每一步，以负梯度方向更新X的值，从而达到减少函数值的目的。

收敛条件

当目标函数是凸函数时，理论上可以求得全局最优解；一般情况下，不保证接近全局最优，收敛速度也未必很快，所以需要考虑一些优化。