Contextual Self-paced Learning for Weakly Supervised Spatio-Temporal Video Grounding

要約

本研究では、弱教師付き時空間ビデオグラウンディング（Weakly Supervised Spatio-Temporal Video Grounding: WSTVG）に注目する。これは、バウンディングボックスの監視なしに、テキストクエリに基づいて特定の被写体を時空間的にローカライズすることを目的としたマルチモーダルタスクである。グラウンディングタスクのためのマルチモーダル基礎モデルにおける最近の進歩に動機づけられ、我々はまずWSTVGのための最新の物体検出モデルの可能性を探る。そのロバストなゼロショット能力にもかかわらず、我々の適応は、一貫性のない時間予測、複雑なクエリの不十分な理解、困難なシナリオへの適応の課題など、重大な限界を明らかにする。我々は、これらの限界を克服するために設計された新しいアプローチであるCoSPaL（Contextual Self-Paced Learning）を提案する。CoSPaLは3つのコアコンポーネントを統合している：(1)チューブレットフレーズグラウンディング(TPG)は、テキストクエリをチューブレットにリンクさせることで、時空間予測を導入する。(2)文脈参照グラウンディング(CRG)は、時間の経過とともにオブジェクト同定を洗練させるために文脈情報を抽出することで、複雑なクエリの理解度を向上させる。

要約(オリジナル)

In this work, we focus on Weakly Supervised Spatio-Temporal Video Grounding (WSTVG). It is a multimodal task aimed at localizing specific subjects spatio-temporally based on textual queries without bounding box supervision. Motivated by recent advancements in multi-modal foundation models for grounding tasks, we first explore the potential of state-of-the-art object detection models for WSTVG. Despite their robust zero-shot capabilities, our adaptation reveals significant limitations, including inconsistent temporal predictions, inadequate understanding of complex queries, and challenges in adapting to difficult scenarios. We propose CoSPaL (Contextual Self-Paced Learning), a novel approach which is designed to overcome these limitations. CoSPaL integrates three core components: (1) Tubelet Phrase Grounding (TPG), which introduces spatio-temporal prediction by linking textual queries to tubelets; (2) Contextual Referral Grounding (CRG), which improves comprehension of complex queries by extracting contextual information to refine object identification over time; and (3) Self-Paced Scene Understanding (SPS), a training paradigm that progressively increases task difficulty, enabling the model to adapt to complex scenarios by transitioning from coarse to fine-grained understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL