BoxDiff: Text-to-Image Synthesis with Training-Free Box-Constrained Diffusion

要約

最近のテキストから画像への拡散モデルは、高品質の画像を生成する驚くべき能力を実証しています。
ただし、研究者は主にテキストプロンプトのみを使用して画像を合成する方法を研究しました。
他のモダリティを条件として使用することを検討した研究もありますが、モデルの育成には、ボックス/マスクと画像のペアなどのかなりのペアデータと微調整時間が必要です。
このようなペアのデータは取得に時間と労力がかかり、閉じたセットに制限されるため、これがオープンワールドのアプリケーションのボトルネックになる可能性があります。
このペーパーでは、ユーザーが指定した条件の最も単純な形式 (ボックスや落書きなど) に焦点を当てます。
前述の問題を軽減するために、与えられた空間条件に準拠して合成画像内のオブジェクトとコンテキストを制御するトレーニング不要の方法を提案します。
具体的には、3 つの空間制約 (インナーボックス、アウターボックス、コーナー制約) が設計され、拡散モデルのノイズ除去ステップにシームレスに統合されているため、追加のトレーニングや大量の注釈付きレイアウト データは必要ありません。
広範な実験結果は、提案された制約が、高い忠実度および多様なコンセプト カバレッジで合成する拡散モデルの機能を維持しながら、画像内で何をどこに表示するかを制御できることを示しています。
コードは https://github.com/showlab/BoxDiff で公開されています。

要約(オリジナル)

Recent text-to-image diffusion models have demonstrated an astonishing capacity to generate high-quality images. However, researchers mainly studied the way of synthesizing images with only text prompts. While some works have explored using other modalities as conditions, considerable paired data, e.g., box/mask-image pairs, and fine-tuning time are required for nurturing models. As such paired data is time-consuming and labor-intensive to acquire and restricted to a closed set, this potentially becomes the bottleneck for applications in an open world. This paper focuses on the simplest form of user-provided conditions, e.g., box or scribble. To mitigate the aforementioned problem, we propose a training-free method to control objects and contexts in the synthesized images adhering to the given spatial conditions. Specifically, three spatial constraints, i.e., Inner-Box, Outer-Box, and Corner Constraints, are designed and seamlessly integrated into the denoising step of diffusion models, requiring no additional training and massive annotated layout data. Extensive experimental results demonstrate that the proposed constraints can control what and where to present in the images while retaining the ability of Diffusion models to synthesize with high fidelity and diverse concept coverage. The code is publicly available at https://github.com/showlab/BoxDiff.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google