看了coursea的机器学习课，知道了梯度下降法。一开始只是对其做了下简单的了解。随着内容的深入，发现梯度下降法在很多算法中都用的到，除了之前看到的用来处理线性模型，还有BP神经网络等。于是就有了这篇文章。
本文主要讲了梯度下降法的两种迭代思路，随机梯度下降（Stochastic gradient descent）和批量梯度下降（Batch gradient descent）。以及他们在python中的实现。
梯度下降法
梯度下降是一个最优化算法，通俗的来讲也就是沿着梯度下降的方向来求出一个函数的极小值。那么我们在高等数学中学过，对于一些我们了解的函数方程，我们可以对其求一阶导和二阶导，比如说二次函数。可是我们在处理问题的时候遇到的并不都是我们熟悉的函数，并且既然是机器学习就应该让机器自己去学习如何对其进行求解，显然我们需要换一个思路。因此我们采用梯度下降，不断迭代，沿着梯度下降的方向来移动，求出极小值。
此处我们还是用coursea的机器学习课中的案例，假设我们从中介那里拿到了一个地区的房屋售价表，那么在已知房子面积的情况下，如何得知房子的销售价格。显然，这是一个线性模型，房子面积是自变量x，销售价格是因变量y。我们可以用给出的数据画一张图。然后，给出房子的面积，就可以从图中得知房子的售价了。
现在我们的问题就是，针对给出的数据，如何得到一条最拟合的直线。
对于线性模型，如下。
网友评论
