码迷,mobileinhere.cn
首页 > 编程语言 > 详细

4、决策树算法

时间:2018-07-29 22:21:39      阅读:365      评论:0      收藏:0      [点我收藏+]

标签:创建   算法   信息   随机   归一化   改进   alt   c4.5   优点   

1、认识决策树:

      决策树思想非常朴素,程序设计中的条件就是if-then结构,最早的决策树就是利用这类结构分割数据的一中分类学习方法。

 

2、信息论基础-银行贷款分析

      香农在1948年提出信息论,单位为比特;

      信息熵:可以理解为代价;信息和消除不确定性是相联系的;

      信息增益:当得知特征x的信息而使得类y的信息的不确定性减小的程度,

                        公式:g(d,a)=h(d)- h(d | a)

                     技术分享图片

 

3、决策树的生成

      1)决策树的分类依据:信息增益、id3、c4.5、cart、基尼系数(划分更仔细)

 

4、决策树的优点

      1)简单的理解和解释,树木可视化;

      2)需要很少的数据准备、其他技术通常需要数据归一化;

 

5、决策树的缺点

      1)决策树学习可以创建不能很好推广的数据过于复杂的树,这种也被称为过拟合。

 

6、改进:

      1)剪枝算法cart;

      2)随机森林;

4、决策树算法

标签:创建   算法   信息   随机   归一化   改进   alt   c4.5   优点   

原文地址:www.cnblogs.com/zglbt/p/9387752.html

(0)
(0)
   
举报
评论 一句话评论(0
0条  
登录后才能评论!
2014 mobileinhere.cn 版权所有 京icp备13008772号-2
华人娱乐注册