转载请注明出处：http://www.cnblogs.com/willnote/p/6912798.html
前言
深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的激活函数，传入到下一层神经元；再经过该层神经元的激活，继续往下传递，如此循环往复，直到输出层。正是由于这些非线性函数的反复叠加，才使得神经网络有足够的能力来抓取复杂的模式，在各个领域取得不俗的表现。显而易见，激活函数在深度学习中举足轻重，也是很活跃的研究领域之一。目前来讲，选择怎样的激活函数不在于它能否模拟真正的神经元，而在于能否便于优化整个深度神经网络。
本文首先着重对Sigmoid函数的特点与其存在的梯度消失问题进行说明，之后再对其他常用的一些激活函数的特点进行对比介绍。
Sigmoid函数
Sigmoid函数是深度学习领域开始时使用频率最高的激活函数。
函数形式
延伸阅读
学习是年轻人改变自己的最好方式