Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure

要約

この論文では、ディープメトリクス学習と、分布外 (OOD) 検出のための拡散モデルを使用した合成データ生成を組み合わせた新しいアプローチを紹介します。
OOD 検出の一般的なアプローチの 1 つは外れ値露出です。これは、分布内 (ID) サンプルと「既知の」OOD サンプルの混合を使用してモデルをトレーニングします。
OOD サンプルの場合、モデルは、分布内 (ID) データを正しく分類しながら、出力確率と一様分布の間の KL 発散を最小限に抑えるようにトレーニングされます。
この論文では、ノイズ除去拡散確率モデル (DDPM) を使用して合成 OOD データを生成するラベル混合アプローチを提案します。
さらに、モデルをトレーニングするためのメトリクス学習の最近の進歩を調査します。
実験では、計量学習ベースの損失関数がソフトマックスよりも優れたパフォーマンスを発揮することがわかりました。
さらに、ベースライン モデル (ソフトマックスおよびメトリック学習を含む) は、生成された OOD データを使用してトレーニングすると大幅な改善を示します。
私たちのアプローチは、従来の OOD 検出メトリクスにおける強力なベースラインを上回ります。

要約(オリジナル)

In this paper, we present a novel approach that combines deep metric learning and synthetic data generation using diffusion models for out-of-distribution (OOD) detection. One popular approach for OOD detection is outlier exposure, where models are trained using a mixture of in-distribution (ID) samples and “seen’ OOD samples. For the OOD samples, the model is trained to minimize the KL divergence between the output probability and the uniform distribution while correctly classifying the in-distribution (ID) data. In this paper, we propose a label-mixup approach to generate synthetic OOD data using Denoising Diffusion Probabilistic Models (DDPMs). Additionally, we explore recent advancements in metric learning to train our models. In the experiments, we found that metric learning-based loss functions perform better than the softmax. Furthermore, the baseline models (including softmax, and metric learning) show a significant improvement when trained with the generated OOD data. Our approach outperforms strong baselines in conventional OOD detection metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google