（五）机器学习---决策树和随机森林

在分类问题中还有一个常用算法：就是决策树。本文将会对决策树和随机森林进行介绍。

分类问题	回归问题	聚类问题	各种复杂问题
决策树√	线性回归√	K-means√	神经网络√
逻辑回归√	岭回归	密度聚类	深度学习√
集成学习√	Lasso回归	谱聚类	条件随机场
贝叶斯		层次聚类	隐马尔可夫模型
支持向量机		高斯混合聚类	LDA主题模型

---

目录

一.决策树的基本原理

（1）决策树

（2）决策树的构建过程

（3）决策树特征选择

（4）信息论有关概念

（5）决策树常用算法比较

（6）决策树的剪枝

（6）小结

 二.基于Scikit-learn实现决策树

（1）Python支持的决策树实现

（2）用决策树回归

（3）小结

三.集成学习与随机森林

（1）集成学习

（2）装袋法

（3）随机森林

（4）AdaBoosting 

（5）梯度提升决策树GBDT

（6）小结

四.基于Scikit-learn实现集成学习

（1）案例介绍

（2）装袋法BaggingClassified类

（3）随机森林RandomForestClassified类

（4）AdaBoosting算法 AdaBoostClassifier类

（5）小结

---

一.决策树的基本原理

（1）决策树

（2）决策树的构建过程

（3）决策树特征选择

（4）信息论有关概念

（5）决策树常用算法比较

（6）决策树的剪枝

（6）小结

---

 二.基于Scikit-learn实现决策树

（1）Python支持的决策树实现

 

（2）用决策树回归

（3）小结

三.集成学习与随机森林

（1）集成学习

（2）装袋法

（3）随机森林

（4）AdaBoosting 

（5）梯度提升决策树GBDT

（6）小结

四.基于Scikit-learn实现集成学习

（1）案例介绍

（2）装袋法BaggingClassified类

（3）随机森林RandomForestClassified类

（4）AdaBoosting算法 AdaBoostClassifier类

（5）小结基于Scikit-learn实现集成学习

基于Scikit-learn实现决策树基于Scikit-learn实现决策树