Integrating Geometric Control into Text-to-Image Diffusion Models for High-Quality Detection Data Generation via Text Prompt

要約

拡散モデルは、コンテンツを作成し、画像分類などのタスク用のデータを生成する優れた能力により、大きな注目を集めています。
ただし、拡散モデルを使用して高品質の物体検出データを生成することは、依然として研究されていない領域であり、画像レベルの知覚品質だけでなく、境界ボックスやカメラ ビューなどの幾何学的条件も重要です。
これまでの研究では、セマンティック レイアウトをエンコードするために、特別に設計されたモジュールを使用したコピー＆ペースト合成またはレイアウトから画像 (L2I) 生成のいずれかを利用していました。
この論文では、GeoDiffusion を提案します。これは、さまざまな幾何学的条件を柔軟にテキスト プロンプトに変換し、高品質の検出データ生成のために事前トレーニングされたテキストから画像への (T2I) 拡散モデルを強化できるシンプルなフレームワークです。
以前の L2I メソッドとは異なり、GeoDiffusion は境界ボックスだけでなく、自動運転シーンのカメラ ビューなどの追加の幾何学的条件もエンコードできます。
広範な実験により、GeoDiffusion は 4 倍のトレーニング時間を維持しながら、以前の L2I 手法よりも優れたパフォーマンスを発揮することが実証されました。
私たちの知る限り、これは、幾何学的条件を使用したレイアウトから画像の生成に拡散モデルを採用し、L2I 生成画像が物体検出器のパフォーマンス向上に有益であることを実証した最初の研究です。

要約(オリジナル)

Diffusion models have attracted significant attention due to their remarkable ability to create content and generate data for tasks such as image classification. However, the usage of diffusion models to generate high-quality object detection data remains an underexplored area, where not only the image-level perceptual quality but also geometric conditions such as bounding boxes and camera views are essential. Previous studies have utilized either copy-paste synthesis or layout-to-image (L2I) generation with specifically designed modules to encode semantic layouts. In this paper, we propose GeoDiffusion, a simple framework that can flexibly translate various geometric conditions into text prompts and empower the pre-trained text-to-image (T2I) diffusion models for high-quality detection data generation. Unlike previous L2I methods, our GeoDiffusion is able to encode not only bounding boxes but also extra geometric conditions such as camera views in self-driving scenes. Extensive experiments demonstrate GeoDiffusion outperforms previous L2I methods while maintaining 4x training time faster. To the best of our knowledge, this is the first work to adopt diffusion models for layout-to-image generation with geometric conditions and demonstrate that L2I-generated images can be beneficial for improving the performance of object detectors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google