Metropolis Sampling for Constrained Diffusion Models

要約

ノイズ除去拡散モデルは、画像ドメインの生成モデリングの主要なパラダイムとして最近登場しました。
さらに、リーマン多様体への拡張により、自然科学全体にわたるさまざまな応用が容易になりました。
これらの問題の多くは、ドメイン情報に基づいた任意の制約を指定できる機能から恩恵を受けることができますが、この設定は既存の (リーマンの) 拡散モデル手法ではカバーされていません。
最近の研究では、反射ブラウン運動と対数バリア法に基づいた新しいノイズ プロセスを構築することで、この問題に対処しようとしています。
ただし、関連するサンプラーは計算に負担がかかるか、ユークリッド空間の凸サブセットにのみ適用されます。
このペーパーでは、以前のサンプラーと比較して計算効率と経験的パフォーマンスが大幅に向上する、メトロポリス サンプリングに基づく代替のシンプルなノイズ スキームを紹介します。
独立した興味深い点として、この新しいプロセスが反射されたブラウン運動の有効な離散化に対応することを証明します。
私たちは、地理空間モデリング、ロボット工学、タンパク質設計からのアプリケーションを含む、凸型および非凸型制約を伴うさまざまな問題設定に対するアプローチの拡張性と柔軟性を実証します。

要約(オリジナル)

Denoising diffusion models have recently emerged as the predominant paradigm for generative modelling on image domains. In addition, their extension to Riemannian manifolds has facilitated a range of applications across the natural sciences. While many of these problems stand to benefit from the ability to specify arbitrary, domain-informed constraints, this setting is not covered by the existing (Riemannian) diffusion model methodology. Recent work has attempted to address this issue by constructing novel noising processes based on the reflected Brownian motion and logarithmic barrier methods. However, the associated samplers are either computationally burdensome or only apply to convex subsets of Euclidean space. In this paper, we introduce an alternative, simple noising scheme based on Metropolis sampling that affords substantial gains in computational efficiency and empirical performance compared to the earlier samplers. Of independent interest, we prove that this new process corresponds to a valid discretisation of the reflected Brownian motion. We demonstrate the scalability and flexibility of our approach on a range of problem settings with convex and non-convex constraints, including applications from geospatial modelling, robotics and protein design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google