1.前言
前面提到的算法都是通过一个函数来拟合数据解决问题，也就是单个机器学习算法，与其相对的还有多个机器学习算法，即：集成方法。
集成方法来源：如果模型之间近似相互独立，则多个模型联合的性能要优于单个模型。大致上可以分成两类：（一）把几种不同的机器学习算法集合到一起（二）把一种算法的不同参数组合起来。
集成方法由两层算法组成。底层的算法叫基学习器或者弱学习器，是单个机器学习算法，然后这些算法被集成到高层的一个方法中。
梯度提升算法(Gradient Boosting)属于把一种算法的不同参数组合起来的方式。
2.关于梯度提升算法
梯度提升算法是由Bagging算法改进而来。
Bagging算法的基本原理：从数据集中有放回的随机取样，每次抽取一定比例的数据作为训练样本，剩下的数据作为测试样本。重复以上动作n次，然后对每次动作训练一个基学习器，然后把这些学习器组合到一起，成为集合算法。由于n的不确定性，所以并不是所有的基学习器都会参与到最后的集合算法中去，后面会介绍如何进行筛选。
延伸阅读
- ssh框架 2016-09-30
- 阿里移动安全 [无线安全]玩转无线电——不安全的蓝牙锁 2017-07-26
- 消息队列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 论文笔记【图片目标分割】 2017-07-26
- 词向量-LRWE模型-更好地识别反义词同义词 2017-07-26
- 从栈不平衡问题 理解 calling convention 2017-07-26
- php imagemagick 处理 图片剪切、压缩、合并、插入文本、背景色透明 2017-07-26
- Swift实现JSON转Model - HandyJSON使用讲解 2017-07-26
- 阿里移动安全 Android端恶意锁屏勒索应用分析 2017-07-26
- 集合结合数据结构来看看(二) 2017-07-26
学习是年轻人改变自己的最好方式