0. 引言1. 感知器及激活函数2. 代价函数(loss function)3. 用梯度下降法来学习-Learning with gradient descent4. 用反向传播调整神经网络中逐层所有神经元的超参数5. 过拟合问题6. IMPLEMENTING A NEURAL NETWORK FROM SCRATCH IN PYTHON – AN INTRODUCTION
0. 引言
0x1: 神经网络的分层神经元意味着什么
为了解释这个问题,我们先从一个我们熟悉的场景开始说起,电子电路的设计
如上图所示,在实践中,在解决线路设计问题(或者大多数其他算法问题)时,我们通常先考虑如何解决子问题,然后逐步地集成这些子问题的解。换句话说,我们通过多层的抽象来获得最终的解答,回到上图的电路,我们可以看到,不论多么复杂的电路功能,在最底层的底层,都是由最简单的"与、或、非"门通过一定的逻辑关系组成
这就很自然地让我么联想到深度神经网络的一张脍炙人口的架构图
深度神经网络中间的隐层可以理解为是一种逐层抽象封装的思想,这么说可能并没有严格的理论依据,但是却十分符合我自己直觉上的理解,例如,如果我们在进行视觉模式识别
1. 第一层的神经元可能学会识别边2.