Neural Approximate Mirror Maps for Constrained Diffusion Models

要約

拡散モデルは、視覚的に説得力のある画像を作成することに優れていますが、トレーニング データに固有の微妙な制約を満たすのに苦労することがよくあります。
このような制約は、物理ベース (例: PDE を満たす)、幾何学的 (例: 対称性の尊重)、または意味論的 (例: 特定の数のオブジェクトを含む) にすることができます。
トレーニング データがすべて特定の制約を満たす場合、拡散モデルにこの制約を適用すると、分布マッチングの精度が向上するだけでなく、有効な合成データの生成や制約付き逆問題の解決の信頼性も高まります。
ただし、制約付き拡散モデルの既存の方法は、さまざまな種類の制約に対して柔軟性がありません。
最近の研究では、ミラー マップで定義された制約のない空間でミラー拡散モデル (MDM) を学習し、逆ミラー マップで制約を課すことが提案されていますが、複雑な制約に対して解析ミラー マップを導出するのは困難です。
一般的な制約に対してニューラル近似ミラー マップ (NAMM) を提案します。
私たちのアプローチでは、制約セットからの微分可能な距離関数のみが必要です。
データを制約のない空間に押し込む近似ミラー マップと、データを制約セットにマッピングし直す対応する近似逆マップを学習します。
MDM などの生成モデルは、学習されたミラー空間でトレーニングされ、そのサンプルは逆マップによって設定された制約に復元されます。
さまざまな制約に対するアプローチを検証し、制約のない拡散モデルと比較して、NAMM ベースの MDM が制約満足度を大幅に向上させることを示しています。
また、既存の拡散ベースの逆問題ソルバーを学習済みミラー空間に簡単に適用して、制約付き逆問題を解決する方法も示します。

要約(オリジナル)

Diffusion models excel at creating visually-convincing images, but they often struggle to meet subtle constraints inherent in the training data. Such constraints could be physics-based (e.g., satisfying a PDE), geometric (e.g., respecting symmetry), or semantic (e.g., including a particular number of objects). When the training data all satisfy a certain constraint, enforcing this constraint on a diffusion model not only improves its distribution-matching accuracy but also makes it more reliable for generating valid synthetic data and solving constrained inverse problems. However, existing methods for constrained diffusion models are inflexible with different types of constraints. Recent work proposed to learn mirror diffusion models (MDMs) in an unconstrained space defined by a mirror map and to impose the constraint with an inverse mirror map, but analytical mirror maps are challenging to derive for complex constraints. We propose neural approximate mirror maps (NAMMs) for general constraints. Our approach only requires a differentiable distance function from the constraint set. We learn an approximate mirror map that pushes data into an unconstrained space and a corresponding approximate inverse that maps data back to the constraint set. A generative model, such as an MDM, can then be trained in the learned mirror space and its samples restored to the constraint set by the inverse map. We validate our approach on a variety of constraints, showing that compared to an unconstrained diffusion model, a NAMM-based MDM substantially improves constraint satisfaction. We also demonstrate how existing diffusion-based inverse-problem solvers can be easily applied in the learned mirror space to solve constrained inverse problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google