Constructing Confidence Intervals for ‘the’ Generalization Error — a Comprehensive Benchmark Study

要約

機械学習の予測モデルの品質を評価する場合、予測パフォーマンスを測定する汎化誤差の信頼区間 (CI) が重要なツールになります。
幸いなことに、このような CI を計算する方法は数多く存在し、新しい有望なアプローチが継続的に提案されています。
通常、これらの方法は、相互検証とブートストラップの中で最も一般的なさまざまなリサンプリング手順と、さまざまな分散推定手法を組み合わせます。
しかし、残念なことに、これらの組み合わせのいずれかをいつ使用するのが最も確実であるか、またそれらの組み合わせが一般的にどのように比較されるかについては、現時点ではコンセンサスがありません。
この研究では、汎化誤差について CI を比較する最初の大規模研究を実施します。4 つの異なるインデューサーと合計 8 つの損失関数を使用して、合計 18 の表形式回帰および分類問題について 13 の異なる方法を経験的に評価しました。
方法論の基礎と汎化誤差に対する CI の構築に固有の課題の概要を示し、統一されたフレームワークで 13 の方法すべてを簡潔にレビューします。
最後に、CI メソッドは、相対的なカバレッジ頻度、幅、実行時間の観点から評価されます。
これらの調査結果に基づいて、推奨する方法のサブセットを特定できます。
また、OpenML 上のベンチマーク スイートとしてデータセットを公開し、さらなる研究の基礎として機能するコードを GitHub 上に公開しています。

要約(オリジナル)

When assessing the quality of prediction models in machine learning, confidence intervals (CIs) for the generalization error, which measures predictive performance, are a crucial tool. Luckily, there exist many methods for computing such CIs and new promising approaches are continuously being proposed. Typically, these methods combine various resampling procedures, most popular among them cross-validation and bootstrapping, with different variance estimation techniques. Unfortunately, however, there is currently no consensus on when any of these combinations may be most reliably employed and how they generally compare. In this work, we conduct the first large-scale study comparing CIs for the generalization error – empirically evaluating 13 different methods on a total of 18 tabular regression and classification problems, using four different inducers and a total of eight loss functions. We give an overview of the methodological foundations and inherent challenges of constructing CIs for the generalization error and provide a concise review of all 13 methods in a unified framework. Finally, the CI methods are evaluated in terms of their relative coverage frequency, width, and runtime. Based on these findings, we are able to identify a subset of methods that we would recommend. We also publish the datasets as a benchmarking suite on OpenML and our code on GitHub to serve as a basis for further studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google