Theoretical Limitations of Ensembles in the Age of Overparameterization

要約

古典的なツリーベースのアンサンブルは、単一のデシジョン ツリーよりも優れた一般化を実現します。
対照的に、最近の実証研究では、（過剰パラメータ化された）ニューラル ネットワークの最新のアンサンブルは、単一のより大規模なニューラル ネットワークに比べて、固有の汎化利点を提供しない可能性があることが判明しています。
この論文では、ランダム特徴 (RF) リグレッサーのアンサンブルを理論開発の基礎として使用し、現代の過パラメータ化されたアンサンブルが古典的な過小パラメータ化されたアンサンブルとどのように異なるかを明らかにします。
通常、アンサンブルが正則化を誘発し汎化を高める過小パラメータ化領​​域とは対照的に、過パラメータ化された RF リグレッサーの無限アンサンブルが (単一の) 無限幅 RF リグレッサーと点的に等価になることを証明します。
この等価性は、リッジのないモデルでは正確であり、小さなリッジ ペナルティでは近似ですが、過剰パラメータ化されたアンサンブルと単一の大きなモデルがほぼ同一の一般化を示すことを意味します。
その結果、アンサンブル メンバー間の予測のばらつきを特徴づけることができ、それが従来の不確実性の概念を捉えるのではなく、容量の増加によって予想される効果を定量化することを実証できます。
私たちの結果は、パラメータが過剰な設定におけるアンサンブルの利点に関する一般的な仮定に疑問を投げかけ、パラメータが不足しているアンサンブルからの直感が深いアンサンブルとパラメータが過剰な領域にどの程度うまく伝達されるかについての再考を促します。

要約(オリジナル)

Classic tree-based ensembles generalize better than any single decision tree. In contrast, recent empirical studies find that modern ensembles of (overparameterized) neural networks may not provide any inherent generalization advantage over single but larger neural networks. This paper clarifies how modern overparameterized ensembles differ from their classic underparameterized counterparts, using ensembles of random feature (RF) regressors as a basis for developing theory. In contrast to the underparameterized regime, where ensembling typically induces regularization and increases generalization, we prove that infinite ensembles of overparameterized RF regressors become pointwise equivalent to (single) infinite-width RF regressors. This equivalence, which is exact for ridgeless models and approximate for small ridge penalties, implies that overparameterized ensembles and single large models exhibit nearly identical generalization. As a consequence, we can characterize the predictive variance amongst ensemble members, and demonstrate that it quantifies the expected effects of increasing capacity rather than capturing any conventional notion of uncertainty. Our results challenge common assumptions about the advantages of ensembles in overparameterized settings, prompting a reconsideration of how well intuitions from underparameterized ensembles transfer to deep ensembles and the overparameterized regime.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google