Text-to-Image Rectified Flow as Plug-and-Play Priors

要約

大規模な拡散モデルは、生成タスクで顕著なパフォーマンスを達成しています。
これらのモデルは、最初のトレーニングアプリケーションを超えて、多用途のプラグアンドプレイプライエアとして機能する能力を証明しています。
たとえば、2D拡散モデルは、3D暗黙モデルを最適化するための損失関数として機能します。
生成モデルの新しいクラスである修正されたフローは、ソースからターゲット分布への線形進行を実施し、さまざまなドメインで優れたパフォーマンスを実証しています。
拡散ベースの方法と比較して、整流されたフローアプローチは、生成の品質と効率性の点で上回り、推論の手順が少なくなります。
この作業では、整流されたフローベースの方法が拡散モデルと同様の機能を提供することを実証する理論的および実験的証拠を提示します。
拡散前の拡散前の生成機能に加えて、整流フローモデルの固有の時間変容特性によって動機付けられていることに加えて、この方法のバリアントはさらに画像の反転を実行できます。
実験的に、整理型の流れベースのプライアーは、テキストから3Dの世代において、拡散対応物（SDSおよびVSD損失）よりも優れています。
また、私たちの方法は、画像の反転と編集で競争力のあるパフォーマンスを表示します。

要約(オリジナル)

Large-scale diffusion models have achieved remarkable performance in generative tasks. Beyond their initial training applications, these models have proven their ability to function as versatile plug-and-play priors. For instance, 2D diffusion models can serve as loss functions to optimize 3D implicit models. Rectified flow, a novel class of generative models, enforces a linear progression from the source to the target distribution and has demonstrated superior performance across various domains. Compared to diffusion-based methods, rectified flow approaches surpass in terms of generation quality and efficiency, requiring fewer inference steps. In this work, we present theoretical and experimental evidence demonstrating that rectified flow based methods offer similar functionalities to diffusion models – they can also serve as effective priors. Besides the generative capabilities of diffusion priors, motivated by the unique time-symmetry properties of rectified flow models, a variant of our method can additionally perform image inversion. Experimentally, our rectified flow-based priors outperform their diffusion counterparts – the SDS and VSD losses – in text-to-3D generation. Our method also displays competitive performance in image inversion and editing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google