原理
反向传播在神经网络中非常重要,是现在热门的深度学习的基础.所谓的反向传播,本质上是一种在一个邻域内求多元函数局部极大值(极小值)的方法.以求极大值为例,反向传播过程是先求出多元函数在某一点的梯度.然后沿梯度方向,更新各个自变量,使函数值变大.重复这个过程,就可以得到函数的局部极大值.
解释
下面是当年高等数学书上的一个例题.看看会不会做例4，例5.如果不会做请回去翻翻高等数学的书.一定要看明白梯度的含义和计算方法.梯度是神经网络要用到的最基本也是最重要的概念.另外简单的复合函数求偏导也要确保会求,求梯度要用到.
再直观地解释下梯度的含义.首先,梯度是一个向量,这个向量的方向是函数增加最快的方向.
延伸阅读
学习是年轻人改变自己的最好方式