机器学习和优化问题

很多机器学习方法可以归结为优化问题，对于一个参数模型，比如神经网络，用来表示的话，训练模型其实就是下面的参数优化问题：

其中L是loss function，比如神经网络中分类常用的cross-entropy。

CNN学到了什么？

特征（Representation）。把原始图像看做一个维度是像素×通道的向量，经过各种复杂的CNN结构，其实只不过成了另一个向量。这个向量所在的空间也许有更好的线性可分性，也许是相似样本的“距离”更近，原始的数据经过变换到了这里之后，就是特征。

可视化CNN

那么有个问题来了，如何可视化一个CNN结构学到的特征呢？答案有很多，其中一种就是本文的主题：不再通过优化求解网络的参数，而是求解输入图像。

优化网络的输入，是相对于“正统”的机器学习优化参数而言的。当一个CNN训练完全后，我们可以固定好参数，把输入作为可训练的量，根据目的给定一个新的目标函数。

把这种方法最早用在深度学习里大概是Bengio组在2009年的一个Tech report：《Visualizing Higher-Layer Features of a Deep Network》。文章里提出了下面的优化问题