VideoGLaMM: A Large Multimodal Model for Pixel-Level Visual Grounding in Videos

要約

ビデオ内の複雑な空間的および時間的ダイナミクスのため、ビデオとテキストの間のきめ細かい調整は困難です。
既存のビデオベースの大規模マルチモーダル モデル (LMM) は基本的な会話を処理しますが、ビデオにおける正確なピクセル レベルの基礎付けに苦労しています。
これに対処するために、ユーザーが提供したテキスト入力に基づいてビデオ内でピクセルレベルのきめ細かいグラウンディングを行うために設計された LMM である VideoGLaMM を導入します。
私たちの設計は、ラージ言語モデル、空間的および時間的詳細の両方を強調するデュアル ビジョン エンコーダー、および正確なマスク生成のための時空間デコーダーの 3 つの主要コンポーネントをシームレスに接続します。
この接続は、視覚言語 (VL) の調整を可能にする調整可能な V-L および L-V アダプターを介して容易になります。
このアーキテクチャは、ビデオ コンテンツの空間要素と時間要素の両方をテキストの指示と同期するようにトレーニングされています。
きめ細かいグラウンディングを可能にするために、半自動アノテーション パイプラインを使用して視覚的に根拠のある詳細な会話を特徴とするマルチモーダル データセットを厳選し、その結果、83,000 のオブジェクトと 671,000 のマスクとともに 38,000 のビデオ QA トリプレットの多様なセットが得られます。
私たちは、グラウンディングされた会話の生成、ビジュアル グラウンディング、および参照ビデオ セグメンテーションという 3 つの困難なタスクに関して VideoGLaMM を評価します。
実験結果は、私たちのモデルが 3 つのタスクすべてにおいて既存のアプローチよりも一貫して優れていることを示しています。

要約(オリジナル)

Fine-grained alignment between videos and text is challenging due to complex spatial and temporal dynamics in videos. Existing video-based Large Multimodal Models (LMMs) handle basic conversations but struggle with precise pixel-level grounding in videos. To address this, we introduce VideoGLaMM, a LMM designed for fine-grained pixel-level grounding in videos based on user-provided textual inputs. Our design seamlessly connects three key components: a Large Language Model, a dual vision encoder that emphasizes both spatial and temporal details, and a spatio-temporal decoder for accurate mask generation. This connection is facilitated via tunable V-L and L-V adapters that enable close Vision-Language (VL) alignment. The architecture is trained to synchronize both spatial and temporal elements of video content with textual instructions. To enable fine-grained grounding, we curate a multimodal dataset featuring detailed visually-grounded conversations using a semiautomatic annotation pipeline, resulting in a diverse set of 38k video-QA triplets along with 83k objects and 671k masks. We evaluate VideoGLaMM on three challenging tasks: Grounded Conversation Generation, Visual Grounding, and Referring Video Segmentation. Experimental results show that our model consistently outperforms existing approaches across all three tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google