SyncSDE: A Probabilistic Framework for Diffusion Synchronization

要約

元のドメインを超えて拡張するために、共同生成のために複数の拡散モデルを活用しようとする多くの試みがありました。
顕著なアプローチでは、推定スコアを混合して生成プロセスを人為的に相関させることにより、複数の拡散軌跡を同期することが含まれます。
ただし、既存の方法は、タスクの特異性を考慮せずに、平均化などの素朴なヒューリスティックに依存しています。
これらのアプローチは、1つのタスクに適したヒューリスティックが他のタスクに盲目的に適用される場合、そのような方法が機能し、しばしば失敗する理由を明確にしません。
この論文では、拡散同期が機能する理由を分析するための確率的フレームワークを紹介し、ヒューリスティックが焦点を合わせるべき場所を明らかにします – 複数の軌跡の間の相関をモデル化し、それらを各特定のタスクに適応させます。
さらに、タスクごとに最適な相関モデルを特定し、正当化なしにすべてのタスクに単一のヒューリスティックを適用する以前のアプローチよりも優れた結果を達成します。

要約(オリジナル)

There have been many attempts to leverage multiple diffusion models for collaborative generation, extending beyond the original domain. A prominent approach involves synchronizing multiple diffusion trajectories by mixing the estimated scores to artificially correlate the generation processes. However, existing methods rely on naive heuristics, such as averaging, without considering task specificity. These approaches do not clarify why such methods work and often fail when a heuristic suitable for one task is blindly applied to others. In this paper, we present a probabilistic framework for analyzing why diffusion synchronization works and reveal where heuristics should be focused – modeling correlations between multiple trajectories and adapting them to each specific task. We further identify optimal correlation models per task, achieving better results than previous approaches that apply a single heuristic across all tasks without justification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google