P3S-Diffusion:A Selective Subject-driven Generation Framework via Point Supervision

要約

主題主導型生成に関する最近の研究では、選択的な主題の特徴の重要性がますます強調されています。
それにもかかわらず、特定の参照画像内のコンテンツを正確に選択することは、特に画像内の類似した被写体 (2 匹の異なる犬など) を選択する場合に依然として課題となります。
一部の方法では、テキスト プロンプトまたはピクセル マスクを使用して特定の要素を分離しようとします。
ただし、テキスト プロンプトでは特定のコンテンツを正確に説明できないことが多く、ピクセル マスクは高価であることがよくあります。
これに対処するために、ポイント監視を介してコンテキスト選択されたサブジェクト駆動型生成用に設計された新しいアーキテクチャである P3S-Diffusion を導入します。
P3S-Diffusion は、最小コストのラベル (ポイントなど) を活用して、被写体主導の画像を生成します。
微調整中に、これらのポイントから拡張されたベース マスクを生成できるため、追加のセグメンテーション モデルの必要性がなくなります。
マスクは、修復および主題の表現との位置合わせのために使用されます。
P3S 拡散は、多層条件注入を通じて被写体の微細な特徴を保存します。
トレーニングを改善するために注意一貫性損失によって強化された、広範な実験により、その優れた特徴保存機能と画像生成機能が実証されました。

要約(オリジナル)

Recent research in subject-driven generation increasingly emphasizes the importance of selective subject features. Nevertheless, accurately selecting the content in a given reference image still poses challenges, especially when selecting the similar subjects in an image (e.g., two different dogs). Some methods attempt to use text prompts or pixel masks to isolate specific elements. However, text prompts often fall short in precisely describing specific content, and pixel masks are often expensive. To address this, we introduce P3S-Diffusion, a novel architecture designed for context-selected subject-driven generation via point supervision. P3S-Diffusion leverages minimal cost label (e.g., points) to generate subject-driven images. During fine-tuning, it can generate an expanded base mask from these points, obviating the need for additional segmentation models. The mask is employed for inpainting and aligning with subject representation. The P3S-Diffusion preserves fine features of the subjects through Multi-layers Condition Injection. Enhanced by the Attention Consistency Loss for improved training, extensive experiments demonstrate its excellent feature preservation and image generation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google