Weakly-Supervised Temporal Article Grounding

要約

トリミングされていない長いビデオと自然言語のクエリが与えられた場合、ビデオ グラウンディング (VG) は、意味的に整列されたビデオ セグメントを一時的にローカライズすることを目的としています。
ほとんどすべての既存の VG 作品は、単純だが非現実的な 2 つの仮定を保持しています。1) すべてのクエリ文は、対応するビデオに基づいている可能性があります。
2) 同じビデオに対するすべてのクエリ文は、常に同じ意味スケールです。
残念ながら、どちらの仮定も、今日の VG モデルが実際には機能しない原因となっています。
たとえば、現実世界のマルチモーダル アセット (ニュース記事など) では、記事内の文のほとんどは、関連するビデオに基づくことができず、通常、豊富な階層関係 (つまり、異なる意味スケール) を持っています。
この目的のために、新しい挑戦的なグラウンディング タスクを提案します: Weakly-Supervised temporary Article Grounding (WSAG)。
具体的には、記事と関連するビデオが与えられた場合、WSAG はすべての「根拠のある」文をビデオにローカライズすることを目指しており、これらの文は異なる意味スケールである可能性があります。
したがって、このタスクを容易にするために、最初の WSAG データセットを収集します。YouwikiHow は、wikiHow の記事や多数の YouTube ビデオに固有のマルチスケールの説明を借用しています。
さらに、2 レベルの MIL 損失と単一/クロスセンテンス制約損失からなる、WSAG 用の単純で効果的な方法 DualMIL を提案します。
これらのトレーニング目標は、これらの緩和された仮定に合わせて慎重に設計されています。
広範なアブレーションにより、DualMIL の有効性が検証されています。

要約(オリジナル)

Given a long untrimmed video and natural language queries, video grounding (VG) aims to temporally localize the semantically-aligned video segments. Almost all existing VG work holds two simple but unrealistic assumptions: 1) All query sentences can be grounded in the corresponding video. 2) All query sentences for the same video are always at the same semantic scale. Unfortunately, both assumptions make today’s VG models fail to work in practice. For example, in real-world multimodal assets (eg, news articles), most of the sentences in the article can not be grounded in their affiliated videos, and they typically have rich hierarchical relations (ie, at different semantic scales). To this end, we propose a new challenging grounding task: Weakly-Supervised temporal Article Grounding (WSAG). Specifically, given an article and a relevant video, WSAG aims to localize all “groundable” sentences to the video, and these sentences are possibly at different semantic scales. Accordingly, we collect the first WSAG dataset to facilitate this task: YouwikiHow, which borrows the inherent multi-scale descriptions in wikiHow articles and plentiful YouTube videos. In addition, we propose a simple but effective method DualMIL for WSAG, which consists of a two-level MIL loss and a single-/cross- sentence constraint loss. These training objectives are carefully designed for these relaxed assumptions. Extensive ablations have verified the effectiveness of DualMIL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google