最速下降法与梯度下降法

维基百科这个说法不是太严谨。

准确来说，它们并不是完全等价。

对于梯度下降法，我们需要预先设定步长$\alpha$。

$$x_{i+1}=x_i-\alpha \nabla f_{x_i}$$

而最速下降法的这个步长$\alpha_k$是通过一个优化函数计算得到的。

$$\alpha_k=\text{argmin}_{\alpha_k}f(x_i-\alpha_k \nabla f_{x_i})$$

如果对梯度下降感兴趣，可以阅读我写的文章自己动手用python写梯度下降。