玩命加载中...
<），导数为0（梯度为0向量）的点，就是优化问题的解。
为了找到这个解，我们沿着梯度的反方向进行线性搜索，每次搜索的步长为某个特定的数值$\alpha$，直到梯度与0向量非常接近为止。上面描述的这个方法就是梯度下降法。迭代算法的步骤如下：
* （1）当$i=0$，自己设置初始点$\textbf{x}^0=(x_1^0,x_2^0,\cdots, x_n^0)$，设置步长（也叫做学习率）$\alpha$，设置迭代终止的误差忍耐度$tol$。
* （2）计算目标函数$f$在点$\textbf{x}^i$上的梯度$\nabla f\_{\textbf{x}^i}$。
* （3）计算$\textbf{x}^{i+1}$，公式如下
$$\textbf{x}^{i+1} = \textbf{x}^{i} - \alpha \nabla f\_{\textbf{x}^i}$$
* （4）计算梯度$\nabla f\_{\textbf{x}^{i+1}}$。如果$\|\nabla f\_{\textbf{x}^{i+1}}\|\_2\leq tol$则迭代停止，最优解的取值为$\textbf{x}^{i+1}$；如果梯度的二范数大于$tol$，那么$i=i+1$，并返回第（3）步。
### 3.梯度下降法在机器学习中的应用
在机器学习中，我们通常会有一个损失函数$L(\beta)$，其中向量$\beta=(\beta_0,\beta_1,\cdots,\beta_n)$是模型中的参数，我们需要找到最优的$\beta$来最小化损失函数$L(\beta)$。所以说，模型的训练过程也就是寻找最优解的过程。
<ul class="pagination">
<li class="active"><a href="#">第1页</a></li>
<li><a href="2.php">第2页</a></li>
<li><a href="3.php">第3页</a></li>
<li><a href="4.php">第4页</a></li>
<li><a href="5.php">第5页</a></li>
<li><a href="6.php">第6页</a></li>
</ul>
<ul class="pager">
<!--<li class="previous"><a href="#"><b>← 返回前一页</b></a></li>-->
<li class="next"><a href="2.php"><b>进入下一页 →</b></a></li>
</ul>
]]>
