← 论文阅读

Artif. Intell. Rev.‘23 A Survey on ensemble learning under the era of deep learning

Jiangshan He · 论文阅读 · 阅读与实践记录

论文链接: https://link.springer.com/article/10.1007/s10462-022-10283-5

1.Introduction

Fast ensemble deep learning algorithms like Snapshot (Huang et al. 2017a), fast geometric ensembling (FGE) (Garipov et al. 2018) and stochastic weight averaging (SWA) (Izmailov et al. 2018; Maddox et al.2019)

2.Traditional EL

这些总结反映了近期TEL发展的主要趋势,其中包括:

  1. 特征提取方法:大多数TEL方法采用各种手工制作的特征来表示数据。

  2. 学习算法:TEL方法中经常使用的学习算法包括SVM、KNN和各种神经网络。

  3. 学习策略:数据级别和特征级别的重新采样是常用的学习策略。

  4. 基本学习器:大多数TEL方法训练同质基本学习器,但也有一些方法训练异质基本学习器。

  5. 集成标准:大多数TEL方法使用各种加权方法作为集成标准来形成最终的集成学习器,只有少数方法尝试了元学习方法。

  6. 集成选择方法:很少使用集成选择方法,可能是因为基本学习器的数量不足以使用集成选择。

3.Ensemble deep learning

4.Fast ensemble deep learning