什么是决策树桩

决策树桩（Decision Stump）是一个深度为1的简单决策树，即只有一个分裂节点（根节点）和两个叶节点。由于它只有一个分裂，决策树桩相当于使用一个特征进行二分类或多分类，是最简单的决策树形式。

决策树桩的结构

决策树桩的结构非常简单：

1. 选择一个特征作为分裂标准。
2. 在该特征上选择一个分裂阈值，将数据分为两部分。
3. 根据该分裂将样本划分为两个类别（如果是二分类问题）或多个类别（如果是多分类问题，但最常见的是用于二分类）。

例如，如果我们有一个特征 $x$，并且选择阈值 $t$，那么决策树桩的决策规则可能是：

• 如果 $x\le t$，则预测类别1。
• 如果 $x>t$，则预测类别2。

决策树桩的作用

由于结构简单，决策树桩本身通常是一个弱分类器，即其预测性能不强，可能只稍微好于随机猜测。然而，正因为其简单性，决策树桩在集成学习方法中（如AdaBoost和梯度提升树）常常被用作基分类器。通过集成多个决策树桩，可以构建出一个强大的模型。

决策树桩的优缺点

优点：

• 计算效率高：由于只有一个分裂，训练速度非常快。
• 简单且易于解释：决策树桩只使用一个特征，易于理解和解释。
• 适合集成学习：在集成学习中（如AdaBoost），使用多个决策树桩可以显著提升模型性能。

缺点：

• 分类性能有限：单个决策树桩的预测能力较弱，容易产生较高的分类错误率。
• 无法处理复杂关系：由于只能使用一个特征进行分裂，决策树桩无法捕捉到特征之间的复杂关系。

决策树桩在AdaBoost中的应用

在AdaBoost算法中，决策树桩是常用的基分类器。由于AdaBoost会在每一轮迭代中增加一个决策树桩并调整样本权重，多个决策树桩的组合可以形成一个强分类器，逐步提升模型的分类效果。每一轮迭代中，AdaBoost选择一个最优的决策树桩作为弱分类器，并根据当前的样本权重调整其分裂参数。

示例

假设我们有一个特征 $x$ 和一个标签 $y$，数据如下：

$x$	$y$
2	0
4	1
6	0
8	1

如果选择 $x=5$ 作为分裂点，那么决策树桩的决策规则可能是：

• 如果 $x\le 5$，则预测 $y=0$。
• 如果 $x>5$，则预测 $y=1$。

这种简单的规则构成了一个决策树桩。通过组合多个这样的简单决策树桩，集成模型可以在复杂数据集上取得较好的性能。