Unified Keypoint-based Action Recognition Framework via Structured Keypoint Pooling

要約

この論文では、従来のスケルトンベースの動作認識に関連する 3 つの制限に同時に対処しています。
スケルトンの検出と追跡のエラー、対象となるアクションの多様性の低さ、人物ごとおよびフレームごとのアクション認識。
ポイント クラウド ディープ ラーニング パラダイムがアクション認識に導入され、構造化キーポイント プーリングと呼ばれる新しいディープ ニューラル ネットワーク アーキテクチャと共に統合フレームワークが提案されます。
提案手法は、各キーポイントが属するインスタンスやフレームなどのデータ構造 (スケルトンに固有) の事前知識に基づいて、キーポイントの特徴をカスケード方式で疎に集約し、入力エラーに対するロバスト性を実現します。
制約が少なく追跡のないアーキテクチャにより、人間の骨格と人間以外のオブジェクトの輪郭で構成される時系列のキーポイントを入力 3D ポイント クラウドとして効率的に処理し、ターゲット アクションの多様性を拡張できます。
さらに、構造化されたキーポイント プーリングに触発されたプーリング スイッチング トリックを提案します。
このトリックは、トレーニング フェーズと推論フェーズの間でプーリング カーネルを切り替えて、ビデオ レベルのアクション ラベルのみを使用して、弱い教師付きの方法で個人単位およびフレーム単位のアクションを検出します。
このトリックにより、トレーニング スキームは、さまざまなビデオから抽出された複数の点群を混合する新しいデータ拡張を自然に導入できます。
実験では、限界に対する提案手法の有効性を総合的に検証し、この手法は、最先端の骨格ベースの動作認識および時空間動作ローカリゼーション手法よりも優れています。

要約(オリジナル)

This paper simultaneously addresses three limitations associated with conventional skeleton-based action recognition; skeleton detection and tracking errors, poor variety of the targeted actions, as well as person-wise and frame-wise action recognition. A point cloud deep-learning paradigm is introduced to the action recognition, and a unified framework along with a novel deep neural network architecture called Structured Keypoint Pooling is proposed. The proposed method sparsely aggregates keypoint features in a cascaded manner based on prior knowledge of the data structure (which is inherent in skeletons), such as the instances and frames to which each keypoint belongs, and achieves robustness against input errors. Its less constrained and tracking-free architecture enables time-series keypoints consisting of human skeletons and nonhuman object contours to be efficiently treated as an input 3D point cloud and extends the variety of the targeted action. Furthermore, we propose a Pooling-Switching Trick inspired by Structured Keypoint Pooling. This trick switches the pooling kernels between the training and inference phases to detect person-wise and frame-wise actions in a weakly supervised manner using only video-level action labels. This trick enables our training scheme to naturally introduce novel data augmentation, which mixes multiple point clouds extracted from different videos. In the experiments, we comprehensively verify the effectiveness of the proposed method against the limitations, and the method outperforms state-of-the-art skeleton-based action recognition and spatio-temporal action localization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google