GBDT (Gradient Boosting Decision Tree)属于集成学习中的Boosting流派，迭代地训练基学习器 (base learner)，当前基学习器依赖于上一轮基学习器的学习结果。 不同于AdaBoost自适应地调整样本的权值分布，GBDT是通过不断地拟合残差 (residual)来“纠错”基学习器的。
1. Gradient Boosting
Gradient Boosting Machine (GBM) 是由大牛Friedman [1,2] 提出来，基本思想非常简单：基学习器存在着分类/回归错误的情况，在下一轮基学习器学习时努力地纠正这个错误。在回归问题中，这个错误被称为残差。比如，在学习样本(
延伸阅读
学习是年轻人改变自己的最好方式