Temporal Action Segmentation with High-level Complex Activity Labels

要約

時間的アクションセグメンテーションタスクは、ビデオを時間的にセグメント化し、すべてのフレームのアクションラベルを予測します。
このようなセグメンテーションモデルを完全に監視するには、フレームごとの高密度のアクションアノテーションが必要であり、収集するのに費用と手間がかかります。
この作品は、一時的なアクションのセグメンテーションの監督として、ビデオごとの高レベルの複雑なアクティビティラベルのみを必要とするConstituent Action Discovery（CAD）フレームワークを提案した最初の作品です。
提案されたアプローチは、アクティビティ分類タスクを使用して、構成要素のビデオアクションを自動的に検出します。
具体的には、有限数の潜在アクションプロトタイプを定義して、ビデオレベルの二重表現を構築します。これらのプロトタイプは、アクティビティ分類トレーニングを通じて集合的に学習されます。
この設定により、複数の複雑なアクティビティ間で共有される可能性のあるアクションを検出する機能がアプローチに与えられます。
アクションレベルの監視がないため、ハンガリーのマッチングアルゴリズムを採用して、潜在的なアクションのプロトタイプを評価のためにグラウンドトゥルースセマンティッククラスに関連付けます。
高レベルの監督により、ハンガリーのマッチングを既存のビデオおよびアクティビティレベルからグローバルレベルに拡張できることを示します。
グローバルレベルのマッチングにより、これまで文献で検討されたことのない、アクティビティ間でのアクション共有が可能になります。
広範な実験は、発見されたアクションが一時的なアクションのセグメンテーションとアクティビティ認識タスクの実行に役立つことを示しています。

要約(オリジナル)

The temporal action segmentation task segments videos temporally and predicts action labels for all frames. Fully supervising such a segmentation model requires dense frame-wise action annotations, which are expensive and tedious to collect. This work is the first to propose a Constituent Action Discovery (CAD) framework that only requires the video-wise high-level complex activity label as supervision for temporal action segmentation. The proposed approach automatically discovers constituent video actions using an activity classification task. Specifically, we define a finite number of latent action prototypes to construct video-level dual representations with which these prototypes are learned collectively through the activity classification training. This setting endows our approach with the capability to discover potentially shared actions across multiple complex activities. Due to the lack of action-level supervision, we adopt the Hungarian matching algorithm to relate latent action prototypes to ground truth semantic classes for evaluation. We show that with the high-level supervision, the Hungarian matching can be extended from the existing video and activity levels to the global level. The global-level matching allows for action sharing across activities, which has never been considered in the literature before. Extensive experiments demonstrate that our discovered actions can help perform temporal action segmentation and activity recognition tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google