Exploring Self-Supervised Skeleton-Based Human Action Recognition under Occlusions

要約

自己監視型のスケルトンベースの動作認識手法を自律ロボット システムに統合するには、ターゲットの遮蔽を伴う不利な状況を考慮することが重要です。
このようなシナリオは、実際的な関連性にもかかわらず、既存の自己教師付きスケルトンベースの行動認識方法ではほとんど扱われていません。
オクルージョンに対処する能力をモデルに与えるために、シンプルで効果的な方法を提案します。
まず、オクルージョンされたスケルトン シーケンスを使用して事前トレーニングし、次にシーケンスの埋め込みに対して K 平均法クラスタリング (KMeans) を使用して、意味的に類似したサンプルをグループ化します。
次に、最も近いサンプル近傍に基づいて欠落しているスケルトン データを埋める KNN-Imputation を提案します。
不完全なスケルトン シーケンスを代入して入力として比較的完全なシーケンスを作成することは、既存のスケルトン ベースの自己教師あり手法に大きな利点をもたらします。
一方、最先端の部分時空間学習 (PSTL) を基盤として、遮蔽部分時空間学習 (OPSTL) フレームワークを導入します。
この機能強化では、高品質で無傷のスケルトンをより有効に活用するために、適応空間マスキング (ASM) を利用しています。
新しく提案された方法は、NTURGB+D 60 および NTURGB+D 120 の困難なオクルージョン バージョンで検証されています。ソース コードは https://github.com/cyfml/OPSTL で公開されています。

要約(オリジナル)

To integrate self-supervised skeleton-based action recognition methods into autonomous robotic systems, it is crucial to consider adverse situations involving target occlusions. Such a scenario, despite its practical relevance, is rarely addressed in existing self-supervised skeleton-based action recognition methods. To empower models with the capacity to address occlusion, we propose a simple and effective method. We first pre-train using occluded skeleton sequences, then use k-means clustering (KMeans) on sequence embeddings to group semantically similar samples. Next, we propose KNN-Imputation to fill in missing skeleton data based on the closest sample neighbors. Imputing incomplete skeleton sequences to create relatively complete sequences as input provides significant benefits to existing skeleton-based self-supervised methods. Meanwhile, building on the state-of-the-art Partial Spatio-Temporal Learning (PSTL), we introduce an Occluded Partial Spatio-Temporal Learning (OPSTL) framework. This enhancement utilizes Adaptive Spatial Masking (ASM) for better use of high-quality, intact skeletons. The new proposed method is verified on the challenging occluded versions of the NTURGB+D 60 and NTURGB+D 120. The source code is publicly available at https://github.com/cyfml/OPSTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google