Towards Weakly Supervised End-to-end Learning for Long-video Action Recognition

要約

長いビデオのエンドツーエンドのアクション認識モデルを開発することは、長いビデオのアクションを理解するために基本的かつ重要です。
長いビデオ全体でエンドツーエンドのトレーニングを行うには手が届かないコストがかかるため、既存の作品では通常、長いビデオから切り取られた短いクリップでモデルをトレーニングしています。
ただし、この「トリミングしてからトレーニング」を行うには、クリップ レベルの監視のためのアクション間隔の注釈、つまりどのアクションがクリップにトリミングされるかを知る必要があります。
残念ながら、このようなアノテーションの収集には非常にコストがかかり、大規模なモデルのトレーニングが妨げられます。
この目的を達成するために、この作業は、ビデオ レベルのアクション カテゴリ ラベルのみを使用して、長いビデオで認識モデルをトレーニングするための、弱く監視されたエンドツーエンドのフレームワークを構築することを目的としています。
長いビデオ内のアクションの正確な時間的位置が分からなくても、私たちが提案する弱教師フレームワーク、つまり AdaptFocus は、アクションが発生する場所とその可能性を推定し、エンドツーエンドのトレーニング用に有益なアクション クリップに適応的に焦点を当てます。
提案された AdaptFocus フレームワークの有効性は、3 つの長いビデオ データセットで実証されています。
さらに、ダウンストリームの長時間ビデオ タスクの場合、当社の AdaptFocus フレームワークは、より堅牢な長時間ビデオの特徴を抽出するための弱く監視された特徴抽出パイプラインを提供します。これにより、ダウンストリーム タスクの最先端の手法が大幅に進歩します。
コードとモデルを公開していきます。

要約(オリジナル)

Developing end-to-end action recognition models on long videos is fundamental and crucial for long-video action understanding. Due to the unaffordable cost of end-to-end training on the whole long videos, existing works generally train models on short clips trimmed from long videos. However, this “trimming-then-training” practice requires action interval annotations for clip-level supervision, i.e., knowing which actions are trimmed into the clips. Unfortunately, collecting such annotations is very expensive and prevents model training at scale. To this end, this work aims to build a weakly supervised end-to-end framework for training recognition models on long videos, with only video-level action category labels. Without knowing the precise temporal locations of actions in long videos, our proposed weakly supervised framework, namely AdaptFocus, estimates where and how likely the actions will occur to adaptively focus on informative action clips for end-to-end training. The effectiveness of the proposed AdaptFocus framework is demonstrated on three long-video datasets. Furthermore, for downstream long-video tasks, our AdaptFocus framework provides a weakly supervised feature extraction pipeline for extracting more robust long-video features, such that the state-of-the-art methods on downstream tasks are significantly advanced. We will release the code and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google