Learning Temporal Sentence Grounding From Narrated EgoVideos

要約

Ego4D や EPIC-Kitchens などの自己中心的な長文データセットの出現により、Temporal Sentence Grounding (TSG) のタスクに新たな課題が生じています。
このタスクを評価する従来のベンチマークと比較して、これらのデータセットは、特に長いビデオに基づいて、より粒度の細かい文章を提供します。
この論文では、ナレーションとそれに対応する大まかなナレーション タイムスタンプのみを使用して、これらのデータセット内の文を基礎づける方法を学習するアプローチを開発します。
私たちは、テキストコンディショニングアテンションを使用して、対照的な方法で時間的グラウンディングをトレーニングするためにクリップを人為的に結合することを提案します。
このクリップ マージング (CliMer) アプローチは、高性能 TSG 手法と比較した場合に効果的であることが示されています。
平均 R@1 は、Ego4D では 3.9 から 5.7 に、EPIC-Kitchens では 10.7 から 13.0 に向上します。
コードとデータの分割は https://github.com/keflanagan/CliMer から入手できます。

要約(オリジナル)

The onset of long-form egocentric datasets such as Ego4D and EPIC-Kitchens presents a new challenge for the task of Temporal Sentence Grounding (TSG). Compared to traditional benchmarks on which this task is evaluated, these datasets offer finer-grained sentences to ground in notably longer videos. In this paper, we develop an approach for learning to ground sentences in these datasets using only narrations and their corresponding rough narration timestamps. We propose to artificially merge clips to train for temporal grounding in a contrastive manner using text-conditioning attention. This Clip Merging (CliMer) approach is shown to be effective when compared with a high performing TSG method — e.g. mean R@1 improves from 3.9 to 5.7 on Ego4D and from 10.7 to 13.0 on EPIC-Kitchens. Code and data splits available from: https://github.com/keflanagan/CliMer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google