Out-of-distribution detection using normalizing flows on the data manifold

要約

分散除外データの可能性が低いという直感を使用すると、分散除外検出の一般的なアプローチには、基礎となるデータ分布の推定が含まれます。
正規化フローは、尤度ベースの生成モデルであり、寸法を摂取する逆転性変換を介して扱いやすい密度推定を提供します。
従来の正規化フローは、尤度ベースのモデルの次元問題のよく知られている呪いのため、分散除外検出に失敗する傾向があります。
尤度ベースのモデルの問題を解決するために、一部の作品は、たとえば、データの複雑さ測定を組み込むことにより、尤度を変更しようとします。
これらの変更はまだ不十分であることがわかりました。
多様な仮説によれば、現実世界のデータはしばしば低次元の多様体にあります。
したがって、低次元のマニホールドの密度を推定し、分散除外検出の尺度としてマニホールドからの距離を計算します。
この尺度と、データの複雑さに基づいて修正された尤度尺度を組み合わせた強力な基準を提案します。
広範な実験結果は、データの複雑さの推定を考慮しながらマニホールド学習を組み込むことで、流れの正常化の分散分布検出能力が向上することを示しています。
この改善は、モデル構造を変更したり、トレーニング中に補助的な分散分布データを使用したりすることなく達成されます。

要約(オリジナル)

Using the intuition that out-of-distribution data have lower likelihoods, a common approach for out-of-distribution detection involves estimating the underlying data distribution. Normalizing flows are likelihood-based generative models providing a tractable density estimation via dimension-preserving invertible transformations. Conventional normalizing flows are prone to fail in out-of-distribution detection, because of the well-known curse of dimensionality problem of the likelihood-based models. To solve the problem of likelihood-based models, some works try to modify likelihood for example by incorporating a data complexity measure. We observed that these modifications are still insufficient. According to the manifold hypothesis, real-world data often lie on a low-dimensional manifold. Therefore, we proceed by estimating the density on a low-dimensional manifold and calculating a distance from the manifold as a measure for out-of-distribution detection. We propose a powerful criterion that combines this measure with the modified likelihood measure based on data complexity. Extensive experimental results show that incorporating manifold learning while accounting for the estimation of data complexity improves the out-of-distribution detection ability of normalizing flows. This improvement is achieved without modifying the model structure or using auxiliary out-of-distribution data during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google