Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection

要約

導入された機械学習システムの信頼性の向上には、多くの場合、分布外 (OOD) 入力を検出する方法の開発が含まれます。
しかし、既存の研究は多くの場合、トレーニング セットに含まれないクラスのサンプルに焦点を絞っており、他の種類のもっともらしい分布の変化は無視されています。
この制限により、システムがさまざまな異常な入力に遭遇する現実のシナリオでは、これらの方法の適用可能性が減ります。
この研究では、5 つの異なるタイプの分布シフトを分類し、それぞれについて最近の OOD 検出手法のパフォーマンスを批判的に評価します。
私たちはベンチマークを BROAD (Benchmarking Resilience Over Anomaly Diversity) という名前で一般に公開しています。
私たちの調査結果では、これらの方法は未知のクラスの検出には優れていますが、他の種類の分布の変化に遭遇した場合にはそのパフォーマンスが一貫していないことが明らかになりました。
言い換えれば、特別に予期されるように設計された予期せぬ入力のみを確実に検出します。
広範な OOD 検出に向けた最初のステップとして、ガウス混合を使用した既存の検出スコアの生成モデルを学習します。
そうすることで、広範な OOD 検出のためのより一貫性のある包括的なソリューションを提供するアンサンブル アプローチを提示し、既存の方法と比較して優れたパフォーマンスを実証します。
BROAD をダウンロードして実験を再現するためのコードは公開されています。

要約(オリジナル)

Improving the reliability of deployed machine learning systems often involves developing methods to detect out-of-distribution (OOD) inputs. However, existing research often narrowly focuses on samples from classes that are absent from the training set, neglecting other types of plausible distribution shifts. This limitation reduces the applicability of these methods in real-world scenarios, where systems encounter a wide variety of anomalous inputs. In this study, we categorize five distinct types of distribution shifts and critically evaluate the performance of recent OOD detection methods on each of them. We publicly release our benchmark under the name BROAD (Benchmarking Resilience Over Anomaly Diversity). Our findings reveal that while these methods excel in detecting unknown classes, their performance is inconsistent when encountering other types of distribution shifts. In other words, they only reliably detect unexpected inputs that they have been specifically designed to expect. As a first step toward broad OOD detection, we learn a generative model of existing detection scores with a Gaussian mixture. By doing so, we present an ensemble approach that offers a more consistent and comprehensive solution for broad OOD detection, demonstrating superior performance compared to existing methods. Our code to download BROAD and reproduce our experiments is publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google