TensorFlow实现Softmax Regression(回归)识别手写数字。MNIST(Mixed National Institute of Standards and Technology database)，简单机器视觉数据集，28X28像素手写数字，只有灰度值信息，空白部分为0,笔迹根据颜色深浅取[0, 1], 784维，丢弃二维空间信息，目标分0~9共10类。数据加载，data.read_data_sets, 55000个样本，测试集10000样本，验证集5000样本。样本标注信息，label，10维向量，10种类one-hot编码。训练集训练模型，验证集检验效果，测试集评测模型(准确率、召回率、F1-score)。

算法设计，Softmax Regression训练手写数字识别分类模型，估算类别概率，取概率最大数字作模型输出结果。类特征相加，判定类概率。模型学习训练调整权值。softmax，各类特征计算exp函数，标准化(所有类别输出概率值为1)。y = softmax(Wx+b)。

NumPy使用C、fortran，调用openblas、mkl矩阵运算库。TensorFlow密集复杂运算在Python外执行。定义计算图，运算操作不需要每次把运算完的数据传回Python，全部在Python外面运行。

import tensor flow as tf，载入TensorFlow库。less = tf.InteractiveSession()，创建InteractiveSession，注册为默认session。不同session的数据、运算，相互独立。x = tf.placeholder(tf.float32, [None,784])，创建Placeholder 接收输入数据，第一参数数据类型，第二参数代表tensor shape 数据尺寸。None不限条数输入，每条输入为784维向量。

tensor存储数据，一旦使用掉就会消失。Variable在模型训练迭代中持久化，长期存在，每轮迭代更新。Softmax Regression模型的Variable对象weights、biases 初始化为0。模型训练自动学习合适值。复杂网络，初始化方法重要。w = tf.Variable(tf.zeros([784, 10]))，784特征维数，10类。Label，one-hot编码后10维向量。

Softmax Regression算法，y = tf.nn.softmax(tf.matmul(x, W) + b)。tf.nn包含大量神经网络组件。tf.matmul，矩阵乘法函数。TensorFlow将forward、backward内容自动实现，只要定义好loss，训练自动求导梯度下降，完成Softmax Regression模型参数自动学习。

定义loss function描述问题模型分类精度。Loss越小，模型分类结果与真实值越小，越精确。模型初始参数全零，产生初始loss。训练目标是减小loss，找到全局最优或局部最优解。cross-entropy，分类问题常用loss function。y预测概率分布，y'真实概率分布(Label one-hot编码)，判断模型对真实概率分布预测准确度。cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))。定义placeholder，输入真实label。tf.reduce_sum求和，tf.reduce_mean每个batch数据结果求均值。

延伸阅读

学习是年轻人改变自己的最好方式-Java培训,做最负责任的教育,学习改变命运,软件学习,再就业,大学生如何就业,帮大学生找到好工作,lphotoshop培训,电脑培训,电脑维修培训,移动软件开发培训,网站设计培训,网站建设培训学习是年轻人改变自己的最好方式