One-Shot Action Recognition via Multi-Scale Spatial-Temporal Skeleton Matching

要約

単一のトレーニング サンプルでスケルトン アクション認識モデルを学習することを目的としたワンショット スケルトン アクション認識は、大規模なスケルトン アクション データを収集して注釈を付けるという課題により、関心が高まっています。
しかし、既存の研究のほとんどは、スケルトン データの空間構造や時間的順序を無視して、特徴ベクトルを直接比較することによってスケルトン シーケンスを照合します。
本稿では、マルチスケールの時空間特徴マッチングを介してスケルトンアクション認識を処理する、新しいワンショットスケルトンアクション認識技術を紹介します。
スケルトン データを複数の時空間スケールで表現し、2 つの観点から最適な特徴マッチングを実現します。
1 つ目は、複数の空間的および時間的スケールでスケルトン データのスケールごとの意味的関連性を同時に取得するマルチスケール マッチングです。
2 つ目は、複数のスケールにわたるサンプルごとの関連性を捕捉することで、さまざまな動きの大きさと速度を処理するクロススケール マッチングです。
3 つの大規模データセット (NTU RGB+D、NTU RGB+D 120、および PKU-MMD) に対する広範な実験により、私たちの方法が優れたワンショット スケルトン アクション認識を達成し、一貫して最先端の方法を上回るパフォーマンスを示すことが示されました。
大差で。

要約(オリジナル)

One-shot skeleton action recognition, which aims to learn a skeleton action recognition model with a single training sample, has attracted increasing interest due to the challenge of collecting and annotating large-scale skeleton action data. However, most existing studies match skeleton sequences by comparing their feature vectors directly which neglects spatial structures and temporal orders of skeleton data. This paper presents a novel one-shot skeleton action recognition technique that handles skeleton action recognition via multi-scale spatial-temporal feature matching. We represent skeleton data at multiple spatial and temporal scales and achieve optimal feature matching from two perspectives. The first is multi-scale matching which captures the scale-wise semantic relevance of skeleton data at multiple spatial and temporal scales simultaneously. The second is cross-scale matching which handles different motion magnitudes and speeds by capturing sample-wise relevance across multiple scales. Extensive experiments over three large-scale datasets (NTU RGB+D, NTU RGB+D 120, and PKU-MMD) show that our method achieves superior one-shot skeleton action recognition, and it outperforms the state-of-the-art consistently by large margins.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google