Language-Guided Diffusion Model for Visual Grounding

要約

ビジュアル グラウンディング (VG) タスクには、提供された言語フレーズに対して意味的に対応する画像領域が特定されるため、明示的なクロスモーダル アラインメントが含まれます。
既存のアプローチは、このようなビジュアルテキスト推論を単一ステップで完了します。
そのパフォーマンスにより、大規模なアンカーや人間の事前予測に基づいた過度に設計されたマルチモーダル融合モジュールに対する高い要求が生じ、トレーニングが困難で特定のシナリオに過剰適合する可能性のある複雑なフレームワークが発生します。
さらに悪いことに、このような 1 回限りの推論メカニズムでは、クエリ領域のマッチングを強化するためにボックスを継続的に改良することができません。
対照的に、この論文では、ノイズ除去拡散モデリングによって反復推論プロセスを定式化します。
具体的には、視覚的グラウンディングのための言語ガイド付き拡散フレームワーク LG-DVG を提案します。これは、言語ガイドを使用してノイズの多いボックスのセットをノイズ除去することによって、クエリされたオブジェクト ボックスを段階的に推論するようにモデルをトレーニングします。
これを達成するために、LG-DVG は、クエリに合わせたグラウンド トゥルース ボックスをノイズの多いボックスに徐々に摂動させ、クエリ セマンティクスに応じてこのプロセスを段階的に逆にします。
広く使用されている 5 つのデータセットで提案したフレームワークの広範な実験により、視覚的なグラウンディング、クロスモーダル アライメント タスクを生成的な方法で解決する優れたパフォーマンスが検証されました。
ソース コードは \url{https://github.com/iQua/vgbase/tree/DiffusionVG} で入手できます。

要約(オリジナル)

Visual grounding (VG) tasks involve explicit cross-modal alignment, as semantically corresponding image regions are to be located for the language phrases provided. Existing approaches complete such visual-text reasoning in a single-step manner. Their performance causes high demands on large-scale anchors and over-designed multi-modal fusion modules based on human priors, leading to complicated frameworks that may be difficult to train and overfit to specific scenarios. Even worse, such once-for-all reasoning mechanisms are incapable of refining boxes continuously to enhance query-region matching. In contrast, in this paper, we formulate an iterative reasoning process by denoising diffusion modeling. Specifically, we propose a language-guided diffusion framework for visual grounding, LG-DVG, which trains the model to progressively reason queried object boxes by denoising a set of noisy boxes with the language guide. To achieve this, LG-DVG gradually perturbs query-aligned ground truth boxes to noisy ones and reverses this process step by step, conditional on query semantics. Extensive experiments for our proposed framework on five widely used datasets validate the superior performance of solving visual grounding, a cross-modal alignment task, in a generative way. The source codes are available at \url{https://github.com/iQua/vgbase/tree/DiffusionVG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google