CoMPaSS: Enhancing Spatial Understanding in Text-to-Image Diffusion Models

要約

テキストから画像への拡散モデルは、フォトリアリスティックな画像の生成には優れていますが、一般に、テキスト プロンプトで説明されている正確な空間関係をレンダリングするのに苦労します。
私たちは、このよくある失敗の根底にある 2 つの中心的な問題を特定します。1) 既存のデータセット内の空間関連データのあいまいな性質、2) 現在のテキスト エンコーダーが入力記述の空間セマンティクスを正確に解釈できないことです。
私たちは、あらゆる T2I 拡散モデルの空間理解を強化する多用途のトレーニング フレームワークである CoMPaSS を使用して、これらの問題に対処します。
CoMPaSS は、空間制約指向ペアリング (SCOP) データ エンジンを使用して空間関連データのあいまいさを解決します。SCOP は、一連の原則に基づいた空間制約を通じて空間的に正確なトレーニング データを厳選します。
厳選された高品質の空間事前分布をより有効に活用するために、CoMPaSS はさらにトークン エンコーディング オーダーリング (TENOR) モジュールを導入し、高品質の空間事前分布をより適切に活用できるようにし、テキスト エンコーダーの欠点を効果的に補います。
UNet ベースと MMDiT ベースの両方のアーキテクチャをカバーする 4 つの一般的なオープンウェイト T2I 拡散モデルに関する広範な実験により、次のような空間関係生成に関するよく知られたベンチマーク全体で大幅な相対ゲインを備えた新しい最先端技術を設定することにより、CoMPaSS の有効性が実証されています。
VISOR (+98%)、T2I-CompBench Spatial (+67%)、および GenEval Position (+131%)。
コードは https://github.com/blurgyy/CoMPaSS で入手できます。

要約(オリジナル)

Text-to-image diffusion models excel at generating photorealistic images, but commonly struggle to render accurate spatial relationships described in text prompts. We identify two core issues underlying this common failure: 1) the ambiguous nature of spatial-related data in existing datasets, and 2) the inability of current text encoders to accurately interpret the spatial semantics of input descriptions. We address these issues with CoMPaSS, a versatile training framework that enhances spatial understanding of any T2I diffusion model. CoMPaSS solves the ambiguity of spatial-related data with the Spatial Constraints-Oriented Pairing (SCOP) data engine, which curates spatially-accurate training data through a set of principled spatial constraints. To better exploit the curated high-quality spatial priors, CoMPaSS further introduces a Token ENcoding ORdering (TENOR) module to allow better exploitation of high-quality spatial priors, effectively compensating for the shortcoming of text encoders. Extensive experiments on four popular open-weight T2I diffusion models covering both UNet- and MMDiT-based architectures demonstrate the effectiveness of CoMPaSS by setting new state-of-the-arts with substantial relative gains across well-known benchmarks on spatial relationships generation, including VISOR (+98%), T2I-CompBench Spatial (+67%), and GenEval Position (+131%). Code will be available at https://github.com/blurgyy/CoMPaSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google