Reject option models comprising out-of-distribution detection

要約

配布外 (OOD) セットアップの最適な予測戦略は、機械学習における基本的な問題です。
この文書では、この質問に取り組み、いくつかの貢献を紹介します。
OOD セットアップ用の 3 つの拒否オプション モデル、コストベース モデル、境界付き TPR-FPR モデル、および境界付き精度-再現率モデルを提案します。
これらのモデルは、非 OOD 設定で使用される標準の拒否オプション モデルを拡張し、最適な OOD 選択分類子の概念を定義します。
提案されたすべてのモデルは、定式化が異なるにもかかわらず、最適な戦略の共通のクラスを共有していることを確立します。
最適な戦略を動機として、2 つの選択された OOD 検出器からの不確実性スコアを活用するダブルスコア OOD 手法を導入します。1 つは OOD/ID 識別に焦点を当て、もう 1 つは誤分類検出に焦点を当てます。
実験結果は、最先端の方法と比較して、このシンプルな戦略の優れたパフォーマンスを一貫して示しています。
さらに、提案された OOD 拒否モデルに基づいた最適戦略の定義から導出された新しい評価指標を提案します。
これらの新しい指標は、既存の評価アプローチで観察される欠陥を排除した、OOD 手法の包括的で信頼性の高い評価を提供します。

要約(オリジナル)

The optimal prediction strategy for out-of-distribution (OOD) setups is a fundamental question in machine learning. In this paper, we address this question and present several contributions. We propose three reject option models for OOD setups: the Cost-based model, the Bounded TPR-FPR model, and the Bounded Precision-Recall model. These models extend the standard reject option models used in non-OOD setups and define the notion of an optimal OOD selective classifier. We establish that all the proposed models, despite their different formulations, share a common class of optimal strategies. Motivated by the optimal strategy, we introduce double-score OOD methods that leverage uncertainty scores from two chosen OOD detectors: one focused on OOD/ID discrimination and the other on misclassification detection. The experimental results consistently demonstrate the superior performance of this simple strategy compared to state-of-the-art methods. Additionally, we propose novel evaluation metrics derived from the definition of the optimal strategy under the proposed OOD rejection models. These new metrics provide a comprehensive and reliable assessment of OOD methods without the deficiencies observed in existing evaluation approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google