New Statistical Framework for Extreme Error Probability in High-Stakes Domains for Reliable Machine Learning

要約

機械学習はハイステークスドメインでは不可欠ですが、従来の検証方法は、極端なエラーの定量化に失敗する平均四角エラー（MSE）や平均絶対誤差（MAE）などの平均メトリックの平均化に依存しています。
最悪の予測の障害は大きな結果をもたらす可能性がありますが、現在のフレームワークには確率を評価するための統計的基礎がありません。
この作業では、極端な値理論（EVT）に基づいた新しい統計的フレームワークが提示され、最悪の障害を推定するための厳密なアプローチを提供します。
EVTを合成および実世界のデータセットに適用すると、この方法は壊滅的な故障確率の堅牢な推定を可能にし、標準的な交差検証の基本的な制限を克服することが示されています。
この作業は、モデルの信頼性を評価するための基本的なツールとしてEVTを確立し、不確実性の定量化が意思決定または科学分析の中心である新しいテクノロジーでのより安全なAI展開を確保します。

要約(オリジナル)

Machine learning is vital in high-stakes domains, yet conventional validation methods rely on averaging metrics like mean squared error (MSE) or mean absolute error (MAE), which fail to quantify extreme errors. Worst-case prediction failures can have substantial consequences, but current frameworks lack statistical foundations for assessing their probability. In this work a new statistical framework, based on Extreme Value Theory (EVT), is presented that provides a rigorous approach to estimating worst-case failures. Applying EVT to synthetic and real-world datasets, this method is shown to enable robust estimation of catastrophic failure probabilities, overcoming the fundamental limitations of standard cross-validation. This work establishes EVT as a fundamental tool for assessing model reliability, ensuring safer AI deployment in new technologies where uncertainty quantification is central to decision-making or scientific analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google