机器学习中的Bagging和Boosting动画指南

由 demi 提交于周二, 29 十月 2024 - 09:58

<a href="https://mp.weixin.qq.com/s/tlLuRBDtdehBrdVQSNj6YQ">来源：小Z的科研日常</a>

<hr>

许多人经常难以理解Bagging和Boosting的核心要点。

本文通过动画展示了这两种技术的内部工作原理：

简而言之，集成方法将多个模型结合在一起以构建一个更强大的模型。

它们基本上是建立在这样一个思想之上的，即通过汇总多个模型的预测结果，可以减轻各个单独模型的缺陷。

集成方法主要使用两种不同的策略构建：

<ul><li>装袋（Bagging）</li>
<li>提升（Boosting）</li></ul>

<hr>

1）Bagging

Bagging通过以下步骤实现：
<ul><li>用有放回地抽样数据创建不同的数据子集（这被称为自助法，bootstrapping）。</li>
<li>针对每个子集训练一个模型。</li>
<li>聚合所有模型的预测结果以获取最终的预测。</li></ul>

一些常用的利用装袋策略的模型包括：
<ul><li>Random Forests</li>
<li>Extra Trees</li></ul>

<hr>

2）Boosting：

Boosting通过以下步骤实现：
<ul><li>Boosting是一个迭代训练过程。</li>
<li>后续模型更加关注前一个模型中被错误分类的样本。</li>
<li>最终的预测是所有模型预测的加权组合。</li></ul>

一些常用的利用提升策略的模型包括：
<ul><li>XGBoost</li>
<li>AdaBoost等</li></ul>

总的来说，集成模型相较于单个模型显著提升了预测性能。

它们通常更加健壮，对未见数据泛化能力更好，并且更不容易过拟合。

<hr>

本文转自：<a href="https://mp.weixin.qq.com/s/tlLuRBDtdehBrdVQSNj6YQ">小Z的科研日常</a>，转载此文目的在于传递更多信息，版权归原作者所有。