提升方法AdaBoost

通过改变训练样本的权重学习多个分类器，并将这些线性分类器进行线性组合，提高分类性能。

AdaBoost

• 提高前一轮被分类错误的权值，降低前一轮被分类正确的权值；
• 加大分类误差错误率小的弱分类器权重。

算法：

输入：训练集，其中，；弱学习算法。

输出：最终分类器。

（1）初始化训练数据的权值分布

（2）对

????????a）使用具有权值分布 的训练集学习，得到基本分类器：

????????b)计算在训练集上的分类误差率

? ? ? ??

????????c)计算的系数：

????????d)更新训练集的权值分布

??????? ????①

其中是规范化因子

它使成为一个概率分布，即。

（3）构建基本分类器的线性组合

得到最终分类器

注：式①可写成

可知误分类样本在每一轮学习后权重会被放大倍，系数表示样本分类器的重要性，所有之和并不等于1。