Denoising diffusion models for out-of-distribution detection

要約

タイトル： アウトオブディストリビューション検出のためのデノイジング拡散モデル

要約：

– 機械学習システムの安全な展開にとってアウトオブディストリビューション検出は重要である。
– 生成モデルから尤度やその他の測定値の推定値を使用する生成ベースのアプローチが現在の教師なしのアウトオブディストリビューション検出を支配している。
– 再構成ベースの方法は、再構成エラーの測定値を使用してサンプルがアウトオブディストリビューションであるかどうかを決定する代替的なアプローチを提供する。モデルの情報ボトルネック（潜在次元のサイズなど）を慎重に調整する必要があるため、再構築ベースのアプローチは好まれなくなっています。
– 本研究では、デノイジング拡散確率モデル（DDPM）のビューを利用して、外部によってボトルネックが制御されるデノイジングオートエンコーダとして利用します。
– DDPMを使用して、ノイズレベルの範囲を加えた入力を再構成し、多次元再構築エラーを使用してアウトオブディストリビューション入力を分類することを提案します。
– 標準的なコンピュータビジョンデータセットと高次元医療データセットの両方で私たちのアプローチを検証します。
– 私たちのアプローチは、再構成ベースの方法だけでなく、最先端の生成ベースのアプローチよりも優れたパフォーマンスを発揮します。
– コードは https://github.com/marksgraham/ddpm-ood で入手可能です。

要約(オリジナル)

Out-of-distribution detection is crucial to the safe deployment of machine learning systems. Currently, unsupervised out-of-distribution detection is dominated by generative-based approaches that make use of estimates of the likelihood or other measurements from a generative model. Reconstruction-based methods offer an alternative approach, in which a measure of reconstruction error is used to determine if a sample is out-of-distribution. However, reconstruction-based approaches are less favoured, as they require careful tuning of the model’s information bottleneck – such as the size of the latent dimension – to produce good results. In this work, we exploit the view of denoising diffusion probabilistic models (DDPM) as denoising autoencoders where the bottleneck is controlled externally, by means of the amount of noise applied. We propose to use DDPMs to reconstruct an input that has been noised to a range of noise levels, and use the resulting multi-dimensional reconstruction error to classify out-of-distribution inputs. We validate our approach both on standard computer-vision datasets and on higher dimension medical datasets. Our approach outperforms not only reconstruction-based methods, but also state-of-the-art generative-based approaches. Code is available at https://github.com/marksgraham/ddpm-ood.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI