Non-Parametric Outlier Synthesis

要約

機械学習モデルを安全に野に放つためには、OOD（Out-of-Distribution）検出が不可欠である。重要な課題の一つは、モデルが未知のデータからの監視信号を欠いており、その結果、OODデータに対して過信的な予測を行う可能性があることである。外れ値合成に関する最近の研究では、特徴空間をパラメトリックなガウス分布としてモデル化したが、これは現実には成立しないかもしれない強力で制限的な仮定である。本論文では、人工的なOOD訓練データを生成し、IDデータとOODデータの間の信頼できる判断境界を学習することを容易にする、新しいフレームワーク、ノンパラメトリック外れ値合成(NPOS)を提案します。重要なことは、我々の提案する合成アプローチは、ID埋め込みデータに対していかなる分布の仮定も行わないことであり、それによって強い柔軟性と一般性を提供する。我々は、この合成アプローチが、拒絶サンプリングの枠組みとして数学的に解釈できることを示す。広範な実験により、NPOSが優れたOOD検出性能を達成し、競合するライバルに大きな差をつけることができることを示す。コードは、https://github.com/deeplearning-wisc/npos で公開されています。

要約(オリジナル)

Out-of-distribution (OOD) detection is indispensable for safely deploying machine learning models in the wild. One of the key challenges is that models lack supervision signals from unknown data, and as a result, can produce overconfident predictions on OOD data. Recent work on outlier synthesis modeled the feature space as parametric Gaussian distribution, a strong and restrictive assumption that might not hold in reality. In this paper, we propose a novel framework, Non-Parametric Outlier Synthesis (NPOS), which generates artificial OOD training data and facilitates learning a reliable decision boundary between ID and OOD data. Importantly, our proposed synthesis approach does not make any distributional assumption on the ID embeddings, thereby offering strong flexibility and generality. We show that our synthesis approach can be mathematically interpreted as a rejection sampling framework. Extensive experiments show that NPOS can achieve superior OOD detection performance, outperforming the competitive rivals by a significant margin. Code is publicly available at https://github.com/deeplearning-wisc/npos.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL