VideoGEM: Training-free Action Grounding in Videos

要約

Vision-Language Foundationモデルは、主に画像のオブジェクトのローカライズに焦点を当てた、トレーニングなしのローカリゼーションや接地など、さまざまなゼロショットタスクで印象的な機能を示しています。
ただし、動画内のアクションやイベントをローカライズする機能を活用することは挑戦的です。アクションは物理的なアウトラインが少なく、通常は高レベルの概念によって説明されます。
この作業では、前処理された画像とビデオ言語のバックボーンに基づいた最初のトレーニングなしの空間アクション接地方法であるVideoGemを提案します。
つまり、宝石の自己自己注意の定式化を空間的な活動の接地に適応させます。
アクションなどの高レベルのセマンティック概念は、通常、画像モデルとビデオ言語モデルのより高い層に現れることを観察します。
したがって、私たちは、高層に優先順位を付けるために、自己関節経路に層の重み付けを提案します。
さらに、動的な重み付け方法を導入して、レイヤーの重みを自動的にチューニングして、特定のプロンプトに各レイヤーの関連性をキャプチャします。
最後に、プロンプトの分解、処理アクション、動詞、およびオブジェクトプロンプトを個別に導入し、アクションの空間的ローカリゼーションを改善します。
3つの画像およびビデオ言語のバックボーン、クリップ、OpenCLip、およびVicLip、および4つのビデオ接地データセット、V-HICO、DALY、YouCook Interctions、およびGroundingYouTubeで提案されたアプローチを評価します。

要約(オリジナル)

Vision-language foundation models have shown impressive capabilities across various zero-shot tasks, including training-free localization and grounding, primarily focusing on localizing objects in images. However, leveraging those capabilities to localize actions and events in videos is challenging, as actions have less physical outline and are usually described by higher-level concepts. In this work, we propose VideoGEM, the first training-free spatial action grounding method based on pretrained image- and video-language backbones. Namely, we adapt the self-self attention formulation of GEM to spatial activity grounding. We observe that high-level semantic concepts, such as actions, usually emerge in the higher layers of the image- and video-language models. We, therefore, propose a layer weighting in the self-attention path to prioritize higher layers. Additionally, we introduce a dynamic weighting method to automatically tune layer weights to capture each layer`s relevance to a specific prompt. Finally, we introduce a prompt decomposition, processing action, verb, and object prompts separately, resulting in a better spatial localization of actions. We evaluate the proposed approach on three image- and video-language backbones, CLIP, OpenCLIP, and ViCLIP, and on four video grounding datasets, V-HICO, DALY, YouCook-Interactions, and GroundingYouTube, showing that the proposed training-free approach is able to outperform current trained state-of-the-art approaches for spatial video grounding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google