决策树（decision tree）是一个树结构（可以是二叉树或非二叉树)。 其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。 使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。
决策树可以表示如下 当我们构建好一个决策树后，我们就可以根据特征的取值来判断一个待分类项的类别
举个例子 现在有一个西瓜 它的纹理很清晰，根蒂稍蜷，色泽乌黑，触感硬滑 判断它是一个好瓜还是坏瓜？
根据之前建立的决策树 我们可以找到这样一条路径 说明这个西瓜是一个好瓜 所以说当我们构建完决策树后可以很快速的来根据待分类数据的特征值来判断待分类项的类别
那么如何构建一棵好的决策树呢？
我们将从特征选择，决策树的生成，决策树的剪枝三个部分来进行讲解 本篇首先讲述
特征选择如果数据中的特征数量过多，在决策树学习开始时，可以先对特征进行选择，只留下对训练数据有足够分类能力的特征，以提高决策树学习效率。
什么样的特征是不具有分类能力的呢？ 如果利用一个特征进行分类的结果与随机分类的结果没有很大差别，则称这个特征是没有分类能力的。
通常特征选择的准则是信息增益或信息增益比。
下面介绍下 信息熵，条件熵，信息增益，以及信息增益比
信息熵是表示随机变量不确定性的度量。
设X是一个取有限个值的离散随机变量 其概率分布如下 则随机变量X的熵可以表示为
对信息熵公式的讲解见我的另一篇博客
信息熵公式的详细讲解 https://blog.csdn.net/qq_44822951/article/details/109254549
熵越大说明随机变量的不确定性越大 这句话是什么意思呢？
比如随机变量 X 只有两个取值 0，1 X的分布是这样的 P(X=1)=p P(X=0)=1-p 0