Prediction Instability in Machine Learning Ensembles

要約

機械学習アンサンブルでは、複数のモデルからの予測が集約されます。
アンサンブルは応用問題で広く使用され、強力なパフォーマンスを発揮しているにもかかわらず、集約モデルの数学的特性と、そのようなモデルを安全かつ説明可能な使用に関連する結果についてはほとんど知られていません。
この論文では、あらゆるアンサンブルが次の形式の予測不安定性の少なくとも 1 つを示すことを示す定理を証明します。
すべての基礎となるモデル間の一致を無視するか、基礎となるモデルがどれも一致していないときに考えを変えるか、実際には予測しないオプションを含めたり除外したりすることで操作可能になります。
結果として、アンサンブル集計手順では、情報利用の利点と、これらの予測の不安定性のリスクとのバランスを常にとる必要があります。
この分析は、特定のアンサンブル アルゴリズムからどのような特定の形式の予測不安定性が予想されるかも明らかにします。
たとえば、ランダム フォレストや xgboost などの一般的なツリー アンサンブルは、基本的で直感的な公平性プロパティに違反します。
最後に、漸近条件で一貫したモデルを使用することでこれを改善できることを示します。

要約(オリジナル)

In machine learning ensembles predictions from multiple models are aggregated. Despite widespread use and strong performance of ensembles in applied problems little is known about the mathematical properties of aggregating models and associated consequences for safe, explainable use of such models. In this paper we prove a theorem that shows that any ensemble will exhibit at least one of the following forms of prediction instability. It will either ignore agreement among all underlying models, change its mind when none of the underlying models have done so, or be manipulable through inclusion or exclusion of options it would never actually predict. As a consequence, ensemble aggregation procedures will always need to balance the benefits of information use against the risk of these prediction instabilities. This analysis also sheds light on what specific forms of prediction instability to expect from particular ensemble algorithms; for example popular tree ensembles like random forest, or xgboost will violate basic, intuitive fairness properties. Finally, we show that this can be ameliorated by using consistent models in asymptotic conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google