目录
引言
信息量
信息熵
案例
ID3
属性选择—信息增益
决策树生成
Python实现ID3
C4.5
属性选择—信息增益率
连续型属性
缺失值
剪枝
CART
分类树属性选择—基尼系数
回归树属性选择—方差
剪枝
Python实现CART
CHAID
GBRT
决策树对比
模拟题
CDA LEVEL III 模拟题(一)
CDA LEVEL III 模拟题(二)
CDA LEVELⅢ 模拟题(2023新大纲)
决策树主要由节点(Node)和有向边(Directed Edge)构成,节点主要分为根节点、内部节点和叶节点:
(1)根结点(root node):没有入边,但有零条或多条出边;
(2)内部结点(internal node):恰有一条入边和两条或多条出边;
(3)叶结点(leaf node):恰有一条入边,无出边。
如图:
虽然在一些资料中提到外部节点,但在决策树的基本构成中,外部节点并不是一个独立的节点类型。通常,叶节点已经涵盖了外部节点的概念,即它们是决策树的最终输出点。
决策树既可以用来解决分