Shifting Perspective to See Difference: A Novel Multi-View Method for Skeleton based Action Recognition

要約

スケルトンに基づく人物動作認識は、その複雑なダイナミクスのために長年の課題である。このダイナミクスは、分類において重要な役割を果たす。既存の研究は、関節の詳細な関係を捉えるために、より複雑な隣接行列を持つインクリメンタルニューラルネットワークの設計に主に焦点を当てている。しかし、大まかな動作パターンが似ていても、異なるカテゴリに属する動作を区別することはまだ困難です。しかし、私たちは、このような動作パターンの微妙な違いが、指定された視線方向によって著しく増幅され、観客に識別されやすくなることを発見しました。我々は、動的なビューの特徴のコレクションからアクションを認識する、概念的にシンプルで効果的なマルチビュー戦略を提案することによって、従来の研究とは大きく異なり、パフォーマンスを向上させます。具体的には、ビューのセットを学習するためのマルチヘッド構造を含む、新しいスケルトン-アンカー提案（SAP）モジュールを設計する。異なるビューの特徴を学習するために、我々は新しい角度表現を導入し、異なるビューの下でアクションを変換し、ベースラインモデルに変換を供給する。本モジュールは、既存の行動分類モデルとシームレスに動作することができる。ベースラインモデルと組み合わされた我々のSAPモジュールは、多くの困難なベンチマークにおいて明確な性能向上を示している。さらに、包括的な実験により、我々のモデルは一貫して最先端技術を打ち負かし、特に破損したデータを扱う際に効果的で堅牢であることが示された。関連するコードは、https://github.com/ideal-idea/SAP で公開される予定です。

要約(オリジナル)

Skeleton-based human action recognition is a longstanding challenge due to its complex dynamics. Some fine-grain details of the dynamics play a vital role in classification. The existing work largely focuses on designing incremental neural networks with more complicated adjacent matrices to capture the details of joints relationships. However, they still have difficulties distinguishing actions that have broadly similar motion patterns but belong to different categories. Interestingly, we found that the subtle differences in motion patterns can be significantly amplified and become easy for audience to distinct through specified view directions, where this property haven’t been fully explored before. Drastically different from previous work, we boost the performance by proposing a conceptually simple yet effective Multi-view strategy that recognizes actions from a collection of dynamic view features. Specifically, we design a novel Skeleton-Anchor Proposal (SAP) module which contains a Multi-head structure to learn a set of views. For feature learning of different views, we introduce a novel Angle Representation to transform the actions under different views and feed the transformations into the baseline model. Our module can work seamlessly with the existing action classification model. Incorporated with baseline models, our SAP module exhibits clear performance gains on many challenging benchmarks. Moreover, comprehensive experiments show that our model consistently beats down the state-of-the-art and remains effective and robust especially when dealing with corrupted data. Related code will be available on https://github.com/ideal-idea/SAP .

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL