Self-supervised Action Representation Learning from Partial Spatio-Temporal Skeleton Sequences

要約

自己教師あり学習は、骨格ベースの行動認識の表現学習において顕著な能力を発揮しています。
既存の方法は主に、グローバル データ拡張を適用して、対照学習用のスケルトン シーケンスのさまざまなビューを生成することに焦点を当てています。
ただし、スケルトン シーケンスのアクションの手がかりが豊富であるため、既存の方法では、さまざまなスケルトン ジョイントとビデオ フレームとの間のローカルな関係を十分に活用せずに、グローバルな視点でさまざまなスケルトンを識別することしかできない場合があります。これは、現実世界のアプリケーションに不可欠です。
この作業では、部分的な時空間学習 (PSTL) フレームワークを提案して、独自の時空間マスキング戦略によって構築された部分的なスケルトン シーケンスからローカルな関係を活用します。
具体的には、マスキングなしのアンカー ストリーム、Central Spatial Masking (CSM) を使用した空間マスキング ストリーム、および Motion Attention Temporal Masking (MATM) を使用した時間マスキング ストリームで構成されるネガティブ サンプルのないトリプレット スチーム構造を構築します。
フィーチャ相互相関行列は、アンカー ストリームと他の 2 つのマスキング ストリームの間でそれぞれ測定されます。
(1) Central Spatial Masking は、選択された関節を特徴量計算プロセスから除外します。中心度の高い関節ほど、選択される可能性が高くなります。
(2) Motion Attention Temporal Masking は、アクションの動きを利用し、より速く動く可能性が高いフレームを削除します。
私たちの方法は、さまざまなダウンストリーム タスクの下で、NTURGB+D 60、NTURGB+D 120、および PKU-MMD で最先端のパフォーマンスを実現します。
さらに、ダウンストリーム タスクで一部のスケルトン ジョイントが失われる実用的な評価が実行されます。パフォーマンスが大幅に低下する以前の方法とは対照的に、PSTL はこの困難な設定の下でも顕著な結果を達成でき、方法の堅牢性が検証されます。

要約(オリジナル)

Self-supervised learning has demonstrated remarkable capability in representation learning for skeleton-based action recognition. Existing methods mainly focus on applying global data augmentation to generate different views of the skeleton sequence for contrastive learning. However, due to the rich action clues in the skeleton sequences, existing methods may only take a global perspective to learn to discriminate different skeletons without thoroughly leveraging the local relationship between different skeleton joints and video frames, which is essential for real-world applications. In this work, we propose a Partial Spatio-Temporal Learning (PSTL) framework to exploit the local relationship from a partial skeleton sequences built by a unique spatio-temporal masking strategy. Specifically, we construct a negative-sample-free triplet steam structure that is composed of an anchor stream without any masking, a spatial masking stream with Central Spatial Masking (CSM), and a temporal masking stream with Motion Attention Temporal Masking (MATM). The feature cross-correlation matrix is measured between the anchor stream and the other two masking streams, respectively. (1) Central Spatial Masking discards selected joints from the feature calculation process, where the joints with a higher degree of centrality have a higher possibility of being selected. (2) Motion Attention Temporal Masking leverages the motion of action and remove frames that move faster with a higher possibility. Our method achieves state-of-the-art performance on NTURGB+D 60, NTURGB+D 120 and PKU-MMD under various downstream tasks. Furthermore, a practical evaluation is performed where some skeleton joints are lost in downstream tasks.In contrast to previous methods that suffer from large performance drops, our PSTL can still achieve remarkable results under this challenging setting, validating the robustness of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google