Unveiling the Hidden Realm: Self-supervised Skeleton-based Action Recognition in Occluded Environments

要約

動作認識方法を自律ロボット システムに統合するには、ターゲットの遮蔽を伴う不利な状況を考慮することが重要です。
このようなシナリオは、実際的な関連性にもかかわらず、既存の自己教師付きスケルトンベースの行動認識方法ではほとんど扱われていません。
ロボットにオクルージョンに対処する能力を与えるために、私たちはシンプルで効果的な方法を提案します。
まず、オクルージョンされたスケルトン シーケンスを使用して事前トレーニングし、次にシーケンスの埋め込みに対して K 平均法クラスタリング (KMeans) を使用して、意味的に類似したサンプルをグループ化します。
次に、K 最近傍 (KNN) を使用して、最近傍サンプルに基づいて欠落しているスケルトン データを埋めます。
不完全なスケルトン シーケンスを代入して入力として比較的完全なシーケンスを作成すると、既存のスケルトン ベースの自己教師ありモデルに大きな利点がもたらされます。
一方、最先端の部分時空間学習 (PSTL) を基盤として、遮蔽部分時空間学習 (OPSTL) フレームワークを導入します。
この機能強化では、高品質で無傷のスケルトンをより有効に活用するために、適応空間マスキング (ASM) を利用しています。
私たちの代入手法の有効性は、NTURGB+D 60 および NTURGB+D 120 の困難なオクルージョン バージョンで検証されています。ソース コードは https://github.com/cyfml/OPSTL で公開されます。

要約(オリジナル)

To integrate action recognition methods into autonomous robotic systems, it is crucial to consider adverse situations involving target occlusions. Such a scenario, despite its practical relevance, is rarely addressed in existing self-supervised skeleton-based action recognition methods. To empower robots with the capacity to address occlusion, we propose a simple and effective method. We first pre-train using occluded skeleton sequences, then use k-means clustering (KMeans) on sequence embeddings to group semantically similar samples. Next, we employ K-nearest-neighbor (KNN) to fill in missing skeleton data based on the closest sample neighbors. Imputing incomplete skeleton sequences to create relatively complete sequences as input provides significant benefits to existing skeleton-based self-supervised models. Meanwhile, building on the state-of-the-art Partial Spatio-Temporal Learning (PSTL), we introduce an Occluded Partial Spatio-Temporal Learning (OPSTL) framework. This enhancement utilizes Adaptive Spatial Masking (ASM) for better use of high-quality, intact skeletons. The effectiveness of our imputation methods is verified on the challenging occluded versions of the NTURGB+D 60 and NTURGB+D 120. The source code will be made publicly available at https://github.com/cyfml/OPSTL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google