Understanding Deep Generative Models with Generalized Empirical Likelihoods

要約

深い生成モデルが高次元データの分布をどの程度うまく捉えているかを理解することは、依然として重要な未解決の課題です。
これは、敵対的生成ネットワークや拡散モデルなど、モデルが正確な可能性を認めない特定のモデル クラスでは特に困難です。
この研究では、一般化経験的尤度 (GEL) 法が、深層生成モデル (DGM) の多くの欠陥を特定できる一連の診断ツールを提供することを実証します。
モーメント条件を適切に指定することで、提案された方法がどのモードがドロップされたか、DGM のモードの不均衡の程度、および DGM がクラス内の多様性を十分に捉えているかどうかを識別できることを示します。
最大平均不一致と一般化経験的尤度の手法を組み合わせて、サンプルごとの解釈可能性を維持する分布テストだけでなく、ラベル情報を含むメトリクスも作成する方法を示します。
このようなテストでは、精度/再現率の向上などの指標よりも、モードのドロップとモードの不均衡の度合いを最大 60% 正確に予測できることがわかりました。

要約(オリジナル)

Understanding how well a deep generative model captures a distribution of high-dimensional data remains an important open challenge. It is especially difficult for certain model classes, such as Generative Adversarial Networks and Diffusion Models, whose models do not admit exact likelihoods. In this work, we demonstrate that generalized empirical likelihood (GEL) methods offer a family of diagnostic tools that can identify many deficiencies of deep generative models (DGMs). We show, with appropriate specification of moment conditions, that the proposed method can identify which modes have been dropped, the degree to which DGMs are mode imbalanced, and whether DGMs sufficiently capture intra-class diversity. We show how to combine techniques from Maximum Mean Discrepancy and Generalized Empirical Likelihood to create not only distribution tests that retain per-sample interpretability, but also metrics that include label information. We find that such tests predict the degree of mode dropping and mode imbalance up to 60% better than metrics such as improved precision/recall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google