Unified Out-Of-Distribution Detection: A Model-Specific Perspective

要約

タイトル：モデル特異的観点に基づく統合化されたアウト・オブ・ディストリビューション検出

要約：

– アウト・オブ・ディストリビューション（OOD）検出は、トレーニング分布に属さないテスト例を識別することを目的としており、信頼できる予測ができないためである。
– 既存の多くの研究は、OOD例が意味的シフト（例えば、未知のカテゴリ）から来る場合に焦点を当てており、共変量のシフトなどの他の可能な要因を無視している。
– 本論文では、より広い範囲でOOD検出を研究するための斬新な枠組みを提案する。あるデプロイされた機械学習モデル（例えば、画像分類器）が正しく予測できない例を検出することを提案する。
– OOD例の検出は、「モデル特異的」であるため、テスト例が検出および棄却されるかどうかはモデルによって異なる。
– この枠組みは、意味的シフトと共変量シフトによって引き起こされるOOD例の検出を統合し、制御されていない環境で機械学習モデルを適用する際の懸念に対処する。
– 多様なモデル（例えば、異なるアーキテクチャやトレーニング戦略）、OOD例のソース、OOD検出アプローチを含む包括的な分析を提供し、OOD検出の改善と理解に関するいくつかの洞察を明らかにする。

要約(オリジナル)

Out-of-distribution (OOD) detection aims to identify test examples that do not belong to the training distribution and are thus unlikely to be predicted reliably. Despite a plethora of existing works, most of them focused only on the scenario where OOD examples come from semantic shift (e.g., unseen categories), ignoring other possible causes (e.g., covariate shift). In this paper, we present a novel, unifying framework to study OOD detection in a broader scope. Instead of detecting OOD examples from a particular cause, we propose to detect examples that a deployed machine learning model (e.g., an image classifier) is unable to predict correctly. That is, whether a test example should be detected and rejected or not is “model-specific”. We show that this framework unifies the detection of OOD examples caused by semantic shift and covariate shift, and closely addresses the concern of applying a machine learning model to uncontrolled environments. We provide an extensive analysis that involves a variety of models (e.g., different architectures and training strategies), sources of OOD examples, and OOD detection approaches, and reveal several insights into improving and understanding OOD detection in uncontrolled environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI