Feature Density Estimation for Out-of-Distribution Detection via Normalizing Flows

要約

配布外 (OOD) の検出は、オープンワールド設定で学習システムを安全に展開するための重要なタスクです。
この研究では、OOD 検出のための正規化フローによる特徴密度推定の使用を調査し、OOD データへの暴露を必要とせず、OOD サンプル選択における研究者のバイアスを回避する完全に教師なしのアプローチを提示します。
これは、任意の事前トレーニング済みモデルに適用できるポストホックな方法であり、密度しきい値処理を介して分布外の検出を実行するために軽量の補助正規化フロー モデルをトレーニングすることが含まれます。
画像分類における OOD 検出の実験では、たった 1 エポックのフロー トレーニングで遠方 OOD データ検出の強力な結果が示されており、これには ImageNet-1k 対テクスチャの 98.2% AUROC が含まれており、これは最先端技術を 7.8% 上回っています。
さらに、事前学習済みモデルの特徴空間分布と手法のパフォーマンスとの関係を調査します。
最後に、OOD 検出で使用するフローの正規化を妨げるトレーニングの落とし穴についての洞察を提供します。

要約(オリジナル)

Out-of-distribution (OOD) detection is a critical task for safe deployment of learning systems in the open world setting. In this work, we investigate the use of feature density estimation via normalizing flows for OOD detection and present a fully unsupervised approach which requires no exposure to OOD data, avoiding researcher bias in OOD sample selection. This is a post-hoc method which can be applied to any pretrained model, and involves training a lightweight auxiliary normalizing flow model to perform the out-of-distribution detection via density thresholding. Experiments on OOD detection in image classification show strong results for far-OOD data detection with only a single epoch of flow training, including 98.2% AUROC for ImageNet-1k vs. Textures, which exceeds the state of the art by 7.8%. We additionally explore the connection between the feature space distribution of the pretrained model and the performance of our method. Finally, we provide insights into training pitfalls that have plagued normalizing flows for use in OOD detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google