老饼讲解-机器学习 机器学习 神经网络 深度学习
机器学习入门
1.学前解惑
2.第一课:初探模型
3.第二课:逻辑回归与梯度下降
4.第三课:决策树
5.第四课:逻辑回归与决策树补充
6.第五课:常见的其它算法
7.第六课:综合应用

【原理】CART回归树

作者 : 老饼 发表日期 : 2022-06-26 03:42:23 更新日期 : 2023-12-19 16:47:32
本站原创文章,转载请说明来自《老饼讲解-机器学习》www.bbbdata.com



CART回归树用于解决回归问题,

它与CART分类树极为相似,仅是在CART分类树上做一些修改,

本文介绍CART回归树,通过本文,了解CART回归树是如何利用决策树解决回归问题的。




     01. CART回归树     


在了解CART分类树的基础上,回归树的学习非常容易
回归与分类的不同,在于回归树的输出变量y为连续数值变量
 因此,在分类树的基础上,稍作修改就是CART回归树 
如下,构建CART回归树来通过身高、年龄预测体重,
CART回归决策树模型
最终CART回归树是与CART分类树一样,仍然是一棵二叉树,只是最终叶子节点是一个数值
 也就是说,CART回归树最后虽然输出的是数值,但它的输出是可枚举的




     02. 回归树相对于分类树的修改     


CART回归树整体算法类似于CART分类树,关键有以下两点修改:
 
 (1)输出类型的修改  
 
叶子节点输出的不是类别
 而是节点上所有y的均值 
(2)分割评估函数的修改
构树过程中节点分割评估不用基尼指数,
改用 平方差

  





备注:本文参考自 李航《统计学习方法》






 End 




联系老饼