一. GBDT的经典paper：《Greedy Function Approximation：A Gradient Boosting Machine》
Abstract
Function approximation是从function space方面进行numerical optimization，其将stagewise additive expamsions和steepest-descent minimization结合起来。而由此而来的Gradient Boosting Decision Tree（GBDT）可以适用于regression和classification，都具有完整的，鲁棒性高，解释性好的优点。
1. Function estimation
在机器学习的任务中，我们一般面对的问题是构造loss function，并求解其最小值。可以写成如下形式：
通常的loss function有：
1. regression：均方误差(y-F)2，绝对误差|y-F|
