Out-of-Distribution Detection Should Use Conformal Prediction (and Vice-versa?)

要約

配信外 (OOD) 検出に関する研究は、主に、OOD データを配信内 (ID) データから効率的に区別するスコアの構築に焦点を当てています。
一方、等角予測 (CP) は不適合スコアを使用して、確率的カバレッジを保証する予測セットを構築します。
この研究では、CP を使用して OOD スコアの効率をより適切に評価することを提案します。
具体的には、標準的な OOD ベンチマーク設定では、テスト データセットのサンプル サイズが有限であるため、評価指標が過度に楽観的になる可能性があることを強調します。
(Bates et al., 2022) の研究に基づいて、新しい等角 AUROC および等角 FRP@TPR95 メトリクスを定義します。これらは、これらのメトリクスの変動性に対する確率的保守性の保証を提供する補正です。
2 つの参照 OOD および異常検出ベンチマーク、OpenOOD (Yang et al., 2022) と ADBench (Han et al., 2022) に対するこれらの修正の影響を示します。
また、OOD スコアを不適合スコアとして使用することで、OOD を CP と併用するメリットが逆に適用され、その結果、現在の CP 手法が改善されることも示します。
これらの貢献の重要なメッセージの 1 つは、OOD はスコアの設計に関係し、CP はこれらのスコアの解釈に関係するため、2 つの分野は本質的に絡み合っている可能性があるということです。

要約(オリジナル)

Research on Out-Of-Distribution (OOD) detection focuses mainly on building scores that efficiently distinguish OOD data from In Distribution (ID) data. On the other hand, Conformal Prediction (CP) uses non-conformity scores to construct prediction sets with probabilistic coverage guarantees. In this work, we propose to use CP to better assess the efficiency of OOD scores. Specifically, we emphasize that in standard OOD benchmark settings, evaluation metrics can be overly optimistic due to the finite sample size of the test dataset. Based on the work of (Bates et al., 2022), we define new conformal AUROC and conformal FRP@TPR95 metrics, which are corrections that provide probabilistic conservativeness guarantees on the variability of these metrics. We show the effect of these corrections on two reference OOD and anomaly detection benchmarks, OpenOOD (Yang et al., 2022) and ADBench (Han et al., 2022). We also show that the benefits of using OOD together with CP apply the other way around by using OOD scores as non-conformity scores, which results in improving upon current CP methods. One of the key messages of these contributions is that since OOD is concerned with designing scores and CP with interpreting these scores, the two fields may be inherently intertwined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google