基尼指数计算例题决策树（使用基尼指数构建决策树）

使用基尼指数构建决策树

什么是基尼指数

基尼指数是一种衡量数据集中分类的均匀程度的度量标准。在决策树中，基尼指数用于寻找最佳的划分属性。 在一个分类问题中，我们有一个样本集合，其中每个样本都属于一种预定义类型。对于一个给定的划分，基尼指数是在该划分下随机选择两个类别中一个不同类型的样本的概率。因此，基尼指数越低，数据集中的类别越均匀，预测就越准确。

示例

考虑一个简单的示例，其中我们拥有一个包含三个特征和一个类别属性的数据集。特征值均为二元离散值（0或1），类别属性标记为“是”或“否”。我们的目标是使用决策树模型对类别属性进行预测。| 特征1 | 特征2 | 特征3 | 类别 || --- | --- | --- | --- || 1 | 0 | 1 | 否 || 0 | 1 | 0 | 是 || 1 | 1 | 0 | 是 || 0 | 1 | 1 | 否 || 0 | 0 | 1 | 否 |我们想要使用基尼指数来选择最佳划分属性。首先，我们计算整个数据集的基尼指数。其中，$p_i$ 表示数据集中类别为 $i$ 的样本占比。$$Gini(D) = 1 - \\sum_{i=1}^k p_i^2$$在这个例子中，$p_是= \\frac{3}{5}$，$p_否= \\frac{2}{5}$，因此$$Gini(D) = 1 - (\\frac{3}{5})^2 - (\\frac{2}{5})^2 = 0.48$$接下来，我们计算每个特征的基尼指数，并选择基尼指数最低的特征作为划分属性。

构建决策树

在我们找到最佳划分属性后，我们就可以使用这个特征作为树的根节点进一步构建决策树。对于节点的子节点，我们计算当前节点数据集中每个子类别的占比，并使用相同的方法计算每个子节点的基尼指数。重复这个过程，直到达到一个终端节点，该终端节点被标记为预测结果的类别。例如，我们选择特征2作为划分属性。根据数据集中特征2的取值，我们将数据集划分为两个子集合。| 特征1 | 特征2 | 特征3 | 类别 || --- | --- | --- | --- || 0 | 1 | 0 | 是 || 1 | 1 | 0 | 是 || 0 | 1 | 1 | 否 || 特征1 | 特征2 | 特征3 | 类别 || --- | --- | --- | --- || 1 | 0 | 1 | 否 || 0 | 0 | 1 | 否 |对于每个子节点，我们计算其基尼指数。对于左侧节点，$p_是= \\frac{2}{3}$，$p_否= \\frac{1}{3}$。$$Gini(D_1) = 1 - (\\frac{2}{3})^2 - (\\frac{1}{3})^2 = 0.44$$对于右侧节点，$p_是= 0$，$p_否= 1$。$$Gini(D_2) = 1 - 1^2 - 0^2 = 0$$因为我们只有一个特征没有使用，所以我们选择基尼指数最低的节点作为划分属性继续构建决策树。右侧节点是一个终端节点，因此我们将其标记为“否”。对于左侧节点，我们选择特征1作为划分属性，并重复相同的步骤。

总结

基尼指数是计算决策树中最佳划分属性的重要工具。通过选择基尼指数最低的特征，我们可以构建一个高效、准确的决策树模型。在实践中，决策树通常是机器学习任务中最常用的模型之一，因为它们易于理解、快速计算和行动中实施。