DEFT: Efficient Fine-Tuning of Diffusion Models by Learning the Generalised $h$-transform

要約

ノイズ除去拡散プロセスに基づく生成モデリング パラダイムは、逆問題における条件付きサンプリングの有力な候補として浮上しています。
多くの実世界のアプリケーションでは、多くの場合、コストをかけてトレーニングされた大規模な無条件拡散モデルにアクセスできます。これは、条件付きサンプリングを改善するために活用することを目的としています。
最近のアプローチのほとんどはヒューリスティックに動機付けられており、統一的なフレームワークが欠如しており、それらの間のつながりが曖昧になっています。
さらに、ハイパーパラメータに非常に敏感であること、トレーニングに費用がかかること、クローズド API の背後に隠された重みにアクセスする必要があることなどの問題に悩まされることがよくあります。
この研究では、数学的によく理解されている Doob の h 変換を使用して、条件付きトレーニングとサンプリングを統合します。
この新しい視点により、多くの既存のメソッドを共通の傘下に統合できるようになります。
このフレームワークの下で、我々は条件付き生成のための新しいアプローチである DEFT (Doob の h 変換 Efficient FineTuning) を提案します。これは、大規模な無条件ネットワークを変更せずに、条件付き $h$ 変換を迅速に学習するために非常に小さなネットワークを微調整するだけです。
DEFT は、既存のベースラインよりもはるかに高速でありながら、さまざまな線形および非線形ベンチマークにわたって最先端のパフォーマンスを実現します。
画像再構成タスクでは、自然画像では最高の知覚品質を、医療画像では再構成パフォーマンスを実現しながら、最大 1.6$\times$ の高速化を達成します。
さらに、タンパク質モチーフの足場に関する初期実験も提供し、再構成ガイダンス手法を上回るパフォーマンスを発揮します。

要約(オリジナル)

Generative modelling paradigms based on denoising diffusion processes have emerged as a leading candidate for conditional sampling in inverse problems. In many real-world applications, we often have access to large, expensively trained unconditional diffusion models, which we aim to exploit for improving conditional sampling. Most recent approaches are motivated heuristically and lack a unifying framework, obscuring connections between them. Further, they often suffer from issues such as being very sensitive to hyperparameters, being expensive to train or needing access to weights hidden behind a closed API. In this work, we unify conditional training and sampling using the mathematically well-understood Doob’s h-transform. This new perspective allows us to unify many existing methods under a common umbrella. Under this framework, we propose DEFT (Doob’s h-transform Efficient FineTuning), a new approach for conditional generation that simply fine-tunes a very small network to quickly learn the conditional $h$-transform, while keeping the larger unconditional network unchanged. DEFT is much faster than existing baselines while achieving state-of-the-art performance across a variety of linear and non-linear benchmarks. On image reconstruction tasks, we achieve speedups of up to 1.6$\times$, while having the best perceptual quality on natural images and reconstruction performance on medical images. Further, we also provide initial experiments on protein motif scaffolding and outperform reconstruction guidance methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google