Understanding the Local Geometry of Generative Model Manifolds

要約

深い生成モデルは、トレーニング中に有限数のサンプルを使用して複雑なデータ多様体の連続表現を学習します。
事前トレーニングされた生成モデルの場合、学習された多様体表現の品質を評価する一般的な方法は、多数の生成された実際のサンプルを使用して、Fr\’echet Inception Distance などのグローバル メトリクスを計算することです。
ただし、生成モデルのパフォーマンスは、学習された多様体全体で均一ではありません。たとえば、安定拡散のような \textit{基礎モデル} の場合、生成パフォーマンスは、ノイズ除去される調整または初期ノイズ ベクトルに基づいて大幅に変化する可能性があります。
この論文では、\textit{学習された多様体の局所幾何学}と下流の生成との関係を研究します。
連続区分線形 (CPWL) 生成器の理論に基づいて、スケーリング ($\psi$)、ランク ($\nu$)、および複雑さ ($\delta$) という 3 つの幾何学的記述子を使用して、プレ
生成モデルの多様体をローカルでトレーニングします。
我々は、特定の潜在性について、局所的記述子が生成の美学、アーチファクト、不確実性、さらには記憶と相関していることを示す定量的および定性的な証拠を提供します。
最後に、ローカル ジオメトリで \textit{報酬モデル} をトレーニングすると、学習された分布の下で生成されるサンプルの尤度を制御できることを示します。

要約(オリジナル)

Deep generative models learn continuous representations of complex data manifolds using a finite number of samples during training. For a pre-trained generative model, the common way to evaluate the quality of the manifold representation learned, is by computing global metrics like Fr\’echet Inception Distance using a large number of generated and real samples. However, generative model performance is not uniform across the learned manifold, e.g., for \textit{foundation models} like Stable Diffusion generation performance can vary significantly based on the conditioning or initial noise vector being denoised. In this paper we study the relationship between the \textit{local geometry of the learned manifold} and downstream generation. Based on the theory of continuous piecewise-linear (CPWL) generators, we use three geometric descriptors – scaling ($\psi$), rank ($\nu$), and complexity ($\delta$) – to characterize a pre-trained generative model manifold locally. We provide quantitative and qualitative evidence showing that for a given latent, the local descriptors are correlated with generation aesthetics, artifacts, uncertainty, and even memorization. Finally we demonstrate that training a \textit{reward model} on the local geometry can allow controlling the likelihood of a generated sample under the learned distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google