A Unified Theory of Diversity in Ensemble Learning

要約

私たちはアンサンブルの多様性の理論を提示し、さまざまな教師あり学習シナリオにおける多様性の性質を説明します。
アンサンブルの多様性を理解するというこの課題は、アンサンブル学習の「聖杯」と呼ばれ、30 年以上にわたって未解決の研究課題となっています。
私たちのフレームワークは、多様性が実際にはアンサンブル損失のバイアス分散分解における隠れた次元であることを明らかにしています。
回帰と分類の両方について、二乗損失、クロスエントロピー損失、ポアソン損失などの正確なバイアス分散多様性分解のファミリーを証明します。
加法的なバイアス分散分解が利用できない損失 (0/1 損失など) については、ラベル分布に依存することが判明した多様性の影響を正確に定量化する代替アプローチを提示します。
実験では、フレームワークを使用して、バギング、ブースティング、ランダム フォレストなどの一般的な手法の多様性を促進するメカニズムを理解する方法を示します。

要約(オリジナル)

We present a theory of ensemble diversity, explaining the nature of diversity for a wide range of supervised learning scenarios. This challenge, of understanding ensemble diversity, has been referred to as the ‘holy grail’ of ensemble learning, an open research issue for over 30 years. Our framework reveals that diversity is in fact a hidden dimension in the bias-variance decomposition of the ensemble loss. We prove a family of exact bias-variance-diversity decompositions, for both regression and classification, e.g., squared, cross-entropy, and Poisson losses. For losses where an additive bias-variance decomposition is not available (e.g., 0/1 loss) we present an alternative approach, which precisely quantifies the effects of diversity, turning out to be dependent on the label distribution. Experiments show how we can use our framework to understand the diversity-encouraging mechanisms of popular methods: Bagging, Boosting, and Random Forests.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google