Fragility-aware Classification for Understanding Risk and Improving Generalization

要約

分類モデルは、医療診断、ユーザープロファイリング、推奨システム、デフォルト検出などのデータ駆動型の意思決定アプリケーションで重要な役割を果たします。
精度などの従来のパフォーマンスメトリックは、全体的なエラー率に焦点を当てていますが、誤った予測の信頼を考慮していないため、自信のある誤解のリスクを見落としています。
このリスクは、医療診断や自律運転などの費用に敏感で安全性が高いドメインで特に重要です。
この問題に対処するために、自信のある誤判断の尾のリスクを明示的にキャプチャすることにより、リスク回避の観点から分類パフォーマンスを評価する新しいメトリックである脆弱性指数（FI）を導入します。
一般化可能性を高めるために、データの不確実性を組み込んだ堅牢な満足（RS）フレームワーク内でFIを定義します。
さらに、一般的な損失関数の扱いやすさを維持しながら、FIを最適化するモデルトレーニングアプローチを開発します。
具体的には、エントロピーの喪失、ヒンジ型損失、リプシッツ損失のための正確な再定式化を導き出し、深い学習モデルへのアプローチを拡張します。
合成実験と現実世界の医療診断タスクを通じて、FIは誤判断リスクを効果的に特定し、FIベースのトレーニングがモデルの堅牢性と一般化可能性を改善することを実証します。
最後に、フレームワークを深いニューラルネットワークトレーニングに拡張し、ディープラーニングモデルの強化における有効性をさらに検証します。

要約(オリジナル)

Classification models play a critical role in data-driven decision-making applications such as medical diagnosis, user profiling, recommendation systems, and default detection. Traditional performance metrics, such as accuracy, focus on overall error rates but fail to account for the confidence of incorrect predictions, thereby overlooking the risk of confident misjudgments. This risk is particularly significant in cost-sensitive and safety-critical domains like medical diagnosis and autonomous driving, where overconfident false predictions may cause severe consequences. To address this issue, we introduce the Fragility Index (FI), a novel metric that evaluates classification performance from a risk-averse perspective by explicitly capturing the tail risk of confident misjudgments. To enhance generalizability, we define FI within the robust satisficing (RS) framework, incorporating data uncertainty. We further develop a model training approach that optimizes FI while maintaining tractability for common loss functions. Specifically, we derive exact reformulations for cross-entropy loss, hinge-type loss, and Lipschitz loss, and extend the approach to deep learning models. Through synthetic experiments and real-world medical diagnosis tasks, we demonstrate that FI effectively identifies misjudgment risk and FI-based training improves model robustness and generalizability. Finally, we extend our framework to deep neural network training, further validating its effectiveness in enhancing deep learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google