Are ensembles getting better all the time?

要約

アンサンブル メソッドは、複数の基本モデルの予測を組み合わせます。
私たちは、アンサンブルにさらに多くのモデルを含めることで常に平均パフォーマンスが向上するかどうかを研究します。
このような質問は、考慮するアンサンブルの種類と、選択した予測指標によって異なります。
私たちは、アンサンブルのメンバー全員が演繹的にパフォーマンスを期待されている状況に焦点を当てます。これは、ランダム フォレストやディープ アンサンブルなどのいくつかの一般的な手法の場合です。
この設定では、基本的に、考慮された損失関数が凸である場合にのみ、アンサンブルが常に向上していることを示します。
より正確には、その場合、アンサンブルの平均損失はモデル数の減少関数になります。
損失関数が非凸である場合、良いモデルのアンサンブルは改善し続け、悪いモデルのアンサンブルは悪化し続けるという洞察によって要約できる一連の結果を示します。
この目的を達成するために、独立して興味深い可能性のある尾部確率の単調性に関する新しい結果を証明します。
単純な機械学習問題 (ニューラル ネットを使用した黒色腫の診断) に関する結果を示します。

要約(オリジナル)

Ensemble methods combine the predictions of several base models. We study whether or not including more models in an ensemble always improve its average performance. Such a question depends on the kind of ensemble considered, as well as the predictive metric chosen. We focus on situations where all members of the ensemble are a priori expected to perform as well, which is the case of several popular methods like random forests or deep ensembles. In this setting, we essentially show that ensembles are getting better all the time if, and only if, the considered loss function is convex. More precisely, in that case, the average loss of the ensemble is a decreasing function of the number of models. When the loss function is nonconvex, we show a series of results that can be summarised by the insight that ensembles of good models keep getting better, and ensembles of bad models keep getting worse. To this end, we prove a new result on the monotonicity of tail probabilities that may be of independent interest. We illustrate our results on a simple machine learning problem (diagnosing melanomas using neural nets).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google