Direct Consistency Optimization for Compositional Text-to-Image Personalization

要約

テキストから画像への (T2I) 拡散モデルは、いくつかの個人的な画像に合わせて微調整すると、一貫性の高いビジュアルを生成できます。
ただし、元の事前トレーニング済みモデルで可能な、さまざまなシナリオやスタイルの画像を合成する機能はまだ不足しています。
これに対処するために、事前トレーニング済みモデルからの逸脱にペナルティを与えながら、参照画像との一貫性を最大化することで T2I モデルを微調整することを提案します。
私たちは、一貫性を達成するために事前トレーニングされたモデルを最小限に微調整する、T2I 拡散モデルの新しいトレーニング目標を考案しました。
\emph{Direct Consistency Optimization} と呼ばれる私たちの方法は、通常の拡散損失と同じくらいシンプルでありながら、パーソナライズされた T2I モデルの構成性を大幅に強化します。
また、私たちのアプローチは、画像の忠実性とプロンプトの忠実性の間のトレードオフを制御する新しいサンプリング方法を導入します。
最後に、画像とテキストの整合性をさらに高めるために、参照画像に包括的なキャプションを使用する必要性を強調します。
主題、スタイル、またはその両方の T2I パーソナライゼーションに対する提案された方法の有効性を示します。
特に、私たちの方法では、ベースラインよりも優れたパレートフロンティアが得られます。
生成されたサンプルとコードはプロジェクト ページ (https://dco-t2i.github.io/) にあります。

要約(オリジナル)

Text-to-image (T2I) diffusion models, when fine-tuned on a few personal images, are able to generate visuals with a high degree of consistency. However, they still lack in synthesizing images of different scenarios or styles that are possible in the original pretrained models. To address this, we propose to fine-tune the T2I model by maximizing consistency to reference images, while penalizing the deviation from the pretrained model. We devise a novel training objective for T2I diffusion models that minimally fine-tunes the pretrained model to achieve consistency. Our method, dubbed \emph{Direct Consistency Optimization}, is as simple as regular diffusion loss, while significantly enhancing the compositionality of personalized T2I models. Also, our approach induces a new sampling method that controls the tradeoff between image fidelity and prompt fidelity. Lastly, we emphasize the necessity of using a comprehensive caption for reference images to further enhance the image-text alignment. We show the efficacy of the proposed method on the T2I personalization for subject, style, or both. In particular, our method results in a superior Pareto frontier to the baselines. Generated examples and codes are in our project page( https://dco-t2i.github.io/).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google