机器学习工具篇_sklearn_随机森林

最新推荐文章于 2024-10-06 19:06:51 发布

原创

最新推荐文章于 2024-10-06 19:06:51 发布 · 599 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#sklearn #随机森林

本文深入探讨了随机森林这一集成算法，包括其与集成算法的关系、装袋法与提升法的区别、随机森林的重要参数如n_estimators、随机状态random_state及其作用。此外，介绍了如何使用随机森林进行缺失值填补，并分享了随机森林调参的基本思想和关键参数的影响程度，强调了降低模型复杂度以防止过拟合的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.集成算法概述

Q:随机森林

是一种集成算法

不是一种单独的机器学习算法

Q:集成算法的目标

考虑多个评估器的建模结果,汇总之后得到一个综合的结果,以此来获得更好的回归或者分类表现

Q:集成评估器

一个模型是一个评估器

多个模型成为集成评估器(ensemble estimator)

每个模型,或者叫单个评估器,都叫做基评估器(base estimator)

常用三类:装袋法(Bagging),提升法(Boosting)和stacking(?也许是堆栈法?)

Q:装袋法(Bagging)和提升法(Boosting)的区别

装袋法(Bagging)的每个模型相互独立.通过平均或者多数表决来决定评估器的结果.

代表是随机森林

提升法(Boosting)中的每个模型是相关的,并且是一一建立的。核心思想是,利用多个弱评估器的力量,一次次对难以评估的样本进行预测,最终形成一个强评估器.

代表是Adaboost和梯度提升树

2.重要参数

Q:n_estimators

表示树木的数量,也就是评估器的数量

评估器的数量越大,也就随机森林的模型效果也就越好.

但会到达一个边界后,就是波动不会再增加

并且,评估器的数量越大,占用的内存资源越多.

Q:决策树和随机森林的效果

随机森林的效果，远远好于决策树

随机森林属于袋装集成算法(bagging)，对基评估器的预测结果取平均值或者多数表决原则

import numpy as np
from scipy.special import comb  #comb指的是数学中的组合

np.array([comb(25,i)*(0.2**i)*((1-0.2)**(25-i)) for i in range(13,26)]).sum()
#这个是用到了幂指数的算法**，
#用到了数组，对数组里面的元素相加时，用上sum
#熟悉这个循环的写法

结果：0.00036904803455582827

说明，假定单个错误的概率是0.2的情况下，错