KNN算法全名为k-Nearest Neighbor，就是K最近邻的意思。
算法描述
KNN是一种分类算法，其基本思想是采用测量不同特征值之间的距离方法进行分类。
算法过程如下：
1、准备样本数据集（样本中每个数据都已经分好类，并具有分类标签）；
2、使用样本数据进行训练；
3、输入测试数据A；
4、计算A与样本集的每一个数据之间的距离；
5、按照距离递增次序排序；
6、选取与A距离最小的k个点；
7、计算前k个点所在类别的出现频率；
8、返回前k个点出现频率最高的类别作为A的预测分类。
主要因素
训练集（或样本数据）
训练集太小会误判，训练集太大时对测试数据分类的系统开销会非常大。
距离（或相似的衡量算法）
什么是合适的距离衡量？距离越近应该意味着这两个点属于一个分类的可能性越大。
距离衡量包括:
1、欧氏距离
欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在m维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。
适用于空间问题。
2、曼哈顿距离
出租车几何或曼哈顿距离（Manhattan Distance）是由十九世纪的赫尔曼·闵可夫斯基所创词汇 ，是种使用在几何度量空间的几何学用语，用以标明两个点在标准坐标系上的绝对轴距总和。 曼哈顿距离是欧氏距离在欧几里得空间的固定直角坐标系上所形成的线段对轴产生的投影的距离总和。
