Multi-Stage Contrastive Regression for Action Quality Assessment

要約

近年、ビデオベースのアクション品質評価 (AQA) への関心が高まっています。
既存の手法のほとんどは通常、ビデオ全体を考慮しながら、アクションに固有のステージレベルの特性を無視することで AQA 問題を解決します。
この問題に対処するために、AQA タスク用の新しい多段階対照回帰 (MCoRe) フレームワークを設計します。
このアプローチにより、時空間情報を効率的に抽出できると同時に、入力ビデオを複数のステージまたは手順に分割することで計算コストを削減できます。
グラフ対照学習からインスピレーションを得て、パフォーマンスを向上させるための新しい段階別の対照学習損失関数を提案します。
その結果、MCoRe は、広く採用されているきめの細かい AQA データセットに関して、これまでのところ最先端の結果を実証します。

要約(オリジナル)

In recent years, there has been growing interest in the video-based action quality assessment (AQA). Most existing methods typically solve AQA problem by considering the entire video yet overlooking the inherent stage-level characteristics of actions. To address this issue, we design a novel Multi-stage Contrastive Regression (MCoRe) framework for the AQA task. This approach allows us to efficiently extract spatial-temporal information, while simultaneously reducing computational costs by segmenting the input video into multiple stages or procedures. Inspired by the graph contrastive learning, we propose a new stage-wise contrastive learning loss function to enhance performance. As a result, MCoRe demonstrates the state-of-the-art result so far on the widely-adopted fine-grained AQA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google