Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding

要約

拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然な設計空間を捉えることに優れています。
ただし、単に自然な設計を生成するのではなく、これらの設計空間の自然さを維持しながら下流の報酬関数を最適化することを目的とすることがよくあります。
この目標を達成するための既存の方法では、多くの場合、「微分可能な」プロキシ モデル (\textit{例}、分類子ガイダンスまたは DPS) が必要になるか、計算コストのかかる拡散モデルの微調整 (\textit{例}、分類子なしのガイダンス、RL) が必要になります。
-ベースの微調整)。
私たちの研究では、これらの課題に対処するための新しい方法を提案します。
私たちのアルゴリズムは、中間のノイズの多い状態が将来どのように高い報酬につながるかを先取りするソフト値関数を、事前トレーニングされた拡散モデルの標準推論手順に統合する反復サンプリング手法です。
特に、私たちのアプローチは生成モデルの微調整を回避し、微分可能なモデルを構築する必要性を排除します。
これにより、(1) 多くの科学分野で一般的に使用される微分不可能な特徴/報酬フィードバックを直接利用することができ、(2) 私たちの方法を原理的な方法で最近の離散拡散モデルに適用することができます。
最後に、画像生成、分子生成、DNA/RNA シーケンス生成など、いくつかの領域にわたるアルゴリズムの有効性を実証します。
コードは \href{https://github.com/masa-ue/SVDD}{https://github.com/masa-ue/SVDD} で入手できます。

要約(オリジナル)

Diffusion models excel at capturing the natural design spaces of images, molecules, DNA, RNA, and protein sequences. However, rather than merely generating designs that are natural, we often aim to optimize downstream reward functions while preserving the naturalness of these design spaces. Existing methods for achieving this goal often require “differentiable” proxy models (\textit{e.g.}, classifier guidance or DPS) or involve computationally expensive fine-tuning of diffusion models (\textit{e.g.}, classifier-free guidance, RL-based fine-tuning). In our work, we propose a new method to address these challenges. Our algorithm is an iterative sampling method that integrates soft value functions, which looks ahead to how intermediate noisy states lead to high rewards in the future, into the standard inference procedure of pre-trained diffusion models. Notably, our approach avoids fine-tuning generative models and eliminates the need to construct differentiable models. This enables us to (1) directly utilize non-differentiable features/reward feedback, commonly used in many scientific domains, and (2) apply our method to recent discrete diffusion models in a principled way. Finally, we demonstrate the effectiveness of our algorithm across several domains, including image generation, molecule generation, and DNA/RNA sequence generation. The code is available at \href{https://github.com/masa-ue/SVDD}{https://github.com/masa-ue/SVDD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google