随机森林 VS 梯度提升机——模型融合之我见

  1. 云栖社区>
  2. 翻译小组>
  3. 博客>
  4. 正文

随机森林 VS 梯度提升机——模型融合之我见

【方向】 2017-09-25 16:17:39 浏览6662
展开阅读全文

更多深度文章,请关注:https://yq.aliyun.com/cloud


博主信息:Xavier Amatriain, 前机器学习领域研究员,如今就职于Quora。

随机森林相比于梯度提升决策树,主要有以下两个优点:

  1. 随机森林比梯度提升机更容易训练
  2. 随机森林比梯度提升机更难过拟合

对于第一点来说,随机森林通常只需要设置一个超参数即可:每个节点上随机选取的特征数量。在大多数情况下,将该参数设置为特征总数的平方根,模型足以取得不错的效果。而梯度提升机的超参数则包括提升树的数量和深度、学习率等等。

对于第二点,尽管我们称随机森林不会过拟合是不准确的,但是,随机森林的抗干扰性强,更不容易出现过拟合的情况。

在某种意义上讲,随机森林是一棵比梯度提升机更加灵活的集成树。但在一般情况下,经过良好训练的梯度提升机的性能往往优于随机森林。

此外,正如陈天奇(第






附件下载: When wou...[【方向】].1506327450.pdf

网友评论

登录后评论
0/500
评论
【方向】
+ 关注
所属团队号: 翻译小组