Metropolis Sampling for Constrained Diffusion Models

要約

ノイズ除去拡散モデルは、生成モデリングの主要なパラダイムとして最近登場しました。
リーマン多様体へのそれらの拡張により、自然科学における一連の問題への応用が容易になりました。
しかし、実際の多くの設定では、そのような多様体は一連の制約によって定義されており、既存の (リーマンの) 拡散モデル方法論ではカバーされていません。
最近の研究では、対数バリア法または反射ブラウン運動に基づく新しいノイズ処理を採用することで、この問題に対処しようと試みています。
ただし、制約の複雑さが増すにつれて、関連するサンプラーの計算負担が大きくなります。
このペーパーでは、以前のサンプラーと比較して計算効率と経験的パフォーマンスが大幅に向上する、メトロポリス サンプリングに基づく代替の単純なノイズ スキームを紹介します。
独立した興味深い点として、この新しいプロセスが反射されたブラウン運動の有効な離散化に対応することを証明します。
私たちは、地理空間モデリング、ロボット工学、タンパク質設計からのアプリケーションを含む、凸型および非凸型制約を伴うさまざまな問題設定に対するアプローチの拡張性と柔軟性を実証します。

要約(オリジナル)

Denoising diffusion models have recently emerged as the predominant paradigm for generative modelling. Their extension to Riemannian manifolds has facilitated their application to an array of problems in the natural sciences. Yet, in many practical settings, such manifolds are defined by a set of constraints and are not covered by the existing (Riemannian) diffusion model methodology. Recent work has attempted to address this issue by employing novel noising processes based on logarithmic barrier methods or reflected Brownian motions. However, the associated samplers are computationally burdensome as the complexity of the constraints increases. In this paper, we introduce an alternative simple noising scheme based on Metropolis sampling that affords substantial gains in computational efficiency and empirical performance compared to the earlier samplers. Of independent interest, we prove that this new process corresponds to a valid discretisation of the reflected Brownian motion. We demonstrate the scalability and flexibility of our approach on a range of problem settings with convex and non-convex constraints, including applications from geospatial modelling, robotics and protein design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google