Dynamic Prompting of Frozen Text-to-Image Diffusion Models for Panoptic Narrative Grounding

要約

パノプティック ナラティブ グラウンディング (PNG) では、その中核となるターゲットがきめ細かい画像とテキストの位置合わせであり、ナラティブ キャプションが与えられた参照オブジェクトのパノプティック セグメンテーションが必要です。
従来の識別方法では、パノプティック セグメンテーションの事前トレーニングや CLIP モデルの適応によって、弱い、または粗いアライメントしか実現できませんでした。
テキストから画像への拡散モデルの最近の進歩を考慮して、クロスアテンション マップと改善された一般的なセグメンテーション パフォーマンスを通じて、きめの細かい画像とテキストの位置合わせを実現する機能がいくつかの研究で示されています。
ただし、凍結拡散モデルを PNG タスクに適用するための静的プロンプトとしてフレーズ特徴を直接使用すると、依然として大きなタスク ギャップと不十分な視覚言語インタラクションに悩まされ、パフォーマンスが低下します。
したがって、我々は、Diffusion UNet 内で Extractive-Injective Phrase Adaptor (EIPA) バイパスを提案し、画像特徴を使用してフレーズ プロンプトを動的に更新し、マルチモーダル キューを注入し直します。これにより、Diffusion モデルのきめ細かい画像とテキストの位置合わせ機能がより十分に活用されます。
さらに、マルチレベルの画像とフレーズの特徴を相互に融合してセグメンテーションを洗練するためのマルチレベル相互集約 (MLMA) モジュールも設計しています。
PNG ベンチマークに関する広範な実験により、私たちの手法が新しい最先端のパフォーマンスを達成することが示されました。

要約(オリジナル)

Panoptic narrative grounding (PNG), whose core target is fine-grained image-text alignment, requires a panoptic segmentation of referred objects given a narrative caption. Previous discriminative methods achieve only weak or coarse-grained alignment by panoptic segmentation pretraining or CLIP model adaptation. Given the recent progress of text-to-image Diffusion models, several works have shown their capability to achieve fine-grained image-text alignment through cross-attention maps and improved general segmentation performance. However, the direct use of phrase features as static prompts to apply frozen Diffusion models to the PNG task still suffers from a large task gap and insufficient vision-language interaction, yielding inferior performance. Therefore, we propose an Extractive-Injective Phrase Adapter (EIPA) bypass within the Diffusion UNet to dynamically update phrase prompts with image features and inject the multimodal cues back, which leverages the fine-grained image-text alignment capability of Diffusion models more sufficiently. In addition, we also design a Multi-Level Mutual Aggregation (MLMA) module to reciprocally fuse multi-level image and phrase features for segmentation refinement. Extensive experiments on the PNG benchmark show that our method achieves new state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google