Can Your Generative Model Detect Out-of-Distribution Covariate Shift?

要約

分布外 (OOD) の感覚データと共変量分布のシフトの検出は、キャプチャされたセット、正常なセット、および分布内 (ID) セットとは異なる高レベルの画像統計を含む新しいテスト サンプルを特定することを目的としています。
既存の OOD 検出文献は主に意味シフトに焦点を当てており、共変量シフトに関するコンセンサスはほとんどありません。
生成モデルは教師なしの方法で ID データをキャプチャし、下流のタスクに関係なく、この学習された分布から大きく逸脱するサンプルを効果的に識別できるようにします。
この研究では、さまざまなモデルを含む広範な分析を通じて、ドメイン固有の共変量シフトを検出および定量化する生成モデルの能力を解明します。
この目的を達成するには、高周波信号に依存する詳細と独立した詳細をモデル化するだけで、発生するほとんどの感覚障害 (全体的な信号統計の異常と逸脱) を検出するだけで十分であると推測します。
我々は、OOD 検出のための新しい方法 CovariateFlow を提案します。これは、特に条件付き正規化フロー (cNF) を使用して不均一分散の高周波画像コンポーネントを共変量するように調整されています。
CIFAR10 対 CIFAR10-C および ImageNet200 対 ImageNet200-C の結果は、OOD 共変量シフトを正確に検出することによるこの方法の有効性を示しています。
この研究は、イメージング システムの忠実度を向上させ、共変量シフトが存在する場合の OOD 検出における機械学習モデルの支援に貢献します。

要約(オリジナル)

Detecting Out-of-Distribution (OOD) sensory data and covariate distribution shift aims to identify new test examples with different high-level image statistics to the captured, normal and In-Distribution (ID) set. Existing OOD detection literature largely focuses on semantic shift with little-to-no consensus over covariate shift. Generative models capture the ID data in an unsupervised manner, enabling them to effectively identify samples that deviate significantly from this learned distribution, irrespective of the downstream task. In this work, we elucidate the ability of generative models to detect and quantify domain-specific covariate shift through extensive analyses that involves a variety of models. To this end, we conjecture that it is sufficient to detect most occurring sensory faults (anomalies and deviations in global signals statistics) by solely modeling high-frequency signal-dependent and independent details. We propose a novel method, CovariateFlow, for OOD detection, specifically tailored to covariate heteroscedastic high-frequency image-components using conditional Normalizing Flows (cNFs). Our results on CIFAR10 vs. CIFAR10-C and ImageNet200 vs. ImageNet200-C demonstrate the effectiveness of the method by accurately detecting OOD covariate shift. This work contributes to enhancing the fidelity of imaging systems and aiding machine learning models in OOD detection in the presence of covariate shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google