BDT提升树模型

提升树是什么？？
提升树是基于分类树或回归树的提升算法，被认为是统计学习中性能最好的方法之一。
提升树模型是以决策树为基分类器，最终获得的模型，采用加法模型和前向分步算法。

加法模型
函数表达形式如下图所示

其中，
给定的训练数据和损失函数 L(y,f(x))在学习加法模型的条件下f(x)最小化损失函数的问题：

按常规求导很难计算这个问题，使用前向分步算法更容易解决这个问题。
前进分步算法的想法是：由于学习了加法模型，如果你只能从前到后学习一个基本函数及其系数，并逐渐接近上述问题，你可以简化优化的复杂性。具体来说，每个步骤只需优化以下损失函数：

前分步算法


提升树算法
数学表达式表示如下：



对于二分类问题，只需要adaboost模型中的基分类器可设置为二类分类树。

BDT以回归树为基础学习器时：

r是当前模型拟合数据的残差，因此对于回归问题的提升树，只需简单地拟合当前模型的残差。

回归问题的提升树算法：