Exploring Self-supervised Skeleton-based Action Recognition in Occluded Environments

要約

アクション認識を自律的なロボットシステムに統合するには、人の閉塞などの課題に対処することが不可欠です。既存の自己監視スケルトンベースのアクション認識方法で見落とされがちなシナリオをよく見落としています。
この作業では、閉塞を処理するために設計されたシンプルで効果的な自己監視学習フレームワークであるIOSPSTLを提案します。
IOSPSTLは、クラスターに存在するKNNインプターと、閉塞された部分空間的学習（OPSTL）戦略を組み合わせています。
まず、閉塞されたスケルトンシーケンス上のモデルを事前にトレーニングします。
次に、シーケンス埋め込み上のk-meansクラスタリングを使用してセマンティックグループを実行するクラスターと存在のKNN INPUTERを導入​​します。
潜在空間にK-nearest Neighborを適用し、近くのサンプル表現を活用して閉塞したジョイントを復元することにより、欠落している骨格データに異動します。
この代入は、より完全なスケルトンシーケンスを生成し、下流の自己監視モデルに大きな利益をもたらします。
学習をさらに強化するために、OPSTLモジュールには、トレーニング中に無傷で高品質のスケルトンシーケンスをよりよく利用するために、適応型空間マスキング（ASM）が組み込まれています。
私たちの方法は、NTU-60およびNTU-120データセットの閉塞されたバージョンで最先端のパフォーマンスを達成し、困難な条件下でその堅牢性と有効性を示しています。
コードはhttps://github.com/cyfml/opstlで入手できます。

要約(オリジナル)

To integrate action recognition into autonomous robotic systems, it is essential to address challenges such as person occlusions-a common yet often overlooked scenario in existing self-supervised skeleton-based action recognition methods. In this work, we propose IosPSTL, a simple and effective self-supervised learning framework designed to handle occlusions. IosPSTL combines a cluster-agnostic KNN imputer with an Occluded Partial Spatio-Temporal Learning (OPSTL) strategy. First, we pre-train the model on occluded skeleton sequences. Then, we introduce a cluster-agnostic KNN imputer that performs semantic grouping using k-means clustering on sequence embeddings. It imputes missing skeleton data by applying K-Nearest Neighbors in the latent space, leveraging nearby sample representations to restore occluded joints. This imputation generates more complete skeleton sequences, which significantly benefits downstream self-supervised models. To further enhance learning, the OPSTL module incorporates Adaptive Spatial Masking (ASM) to make better use of intact, high-quality skeleton sequences during training. Our method achieves state-of-the-art performance on the occluded versions of the NTU-60 and NTU-120 datasets, demonstrating its robustness and effectiveness under challenging conditions. Code is available at https://github.com/cyfml/OPSTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google