Self-Supervised 3D Action Representation Learning with Skeleton Cloud Colorization

要約

タイトル: スケルトンクラウドカラリゼーションによる自己教示型3Dアクション表現学習

要約:

– 3Dスケルトンベースの人間のアクション認識は、近年ますます注目されています。
– 既存のほとんどの研究は、ラベル付けされた大量のアクションシーケンスが必要な教師あり学習に焦点を当てていましたが、この方法は注釈付けが費用と時間がかかるため、問題を抱えています。
– この論文では、スケルトンベースのアクション認識のための、自己教示型の3Dアクション表現学習を提案しています。
– 自己教示表現学習を調査し、未ラベルのスケルトンシーケンスデータから空間的および時間的なスケルトン表現を学習できるスケルトンクラウドカラリゼーション技術を設計しました。
– 3Dスケルトンクラウドとしてスケルトンアクションシーケンスを表現し、元の（注釈されていない）スケルトンシーケンス内の時空間順序に応じてクラウド内の各ポイントを色付けします。その後、色付けされたスケルトンポイントクラウドを活用し、スケルトン関節の人工色ラベルから空間的-時間的特徴を効果的に学習できるオートエンコーダーフレームワークを設計しました。
– 具体的には、細かいグレインと荒いグレインのカラリゼーションを活用して、マルチスケールの空間-時間的特徴を学習する2つのストリームの事前トレーニングネットワークを設計しています。
– さらに、有益な表現を学習するためのマスクされたスケルトンクラウドリペイントタスクを設計し、設計されたオートエンコーダーフレームワークを事前トレーニングできるようにしました。
– NTU RGB+D、NTU RGB+D 120、PKU-MMD、NW-UCLA、UWA3Dデータセットで、教師なし、半教師あり、完全に教師あり、転移学習設定でトレーニングされた線形分類器により、スケルトンクラウドカラリゼーション手法を評価しました。
– 広範な実験結果により、提案された手法が、既存の教師なしと半教師ありの3Dアクション認識手法を大幅に上回り、教師ありの3Dアクション認識でも競争力のある性能を発揮したことが示されました。

要約(オリジナル)

3D Skeleton-based human action recognition has attracted increasing attention in recent years. Most of the existing work focuses on supervised learning which requires a large number of labeled action sequences that are often expensive and time-consuming to annotate. In this paper, we address self-supervised 3D action representation learning for skeleton-based action recognition. We investigate self-supervised representation learning and design a novel skeleton cloud colorization technique that is capable of learning spatial and temporal skeleton representations from unlabeled skeleton sequence data. We represent a skeleton action sequence as a 3D skeleton cloud and colorize each point in the cloud according to its temporal and spatial orders in the original (unannotated) skeleton sequence. Leveraging the colorized skeleton point cloud, we design an auto-encoder framework that can learn spatial-temporal features from the artificial color labels of skeleton joints effectively. Specifically, we design a two-steam pretraining network that leverages fine-grained and coarse-grained colorization to learn multi-scale spatial-temporal features. In addition, we design a Masked Skeleton Cloud Repainting task that can pretrain the designed auto-encoder framework to learn informative representations. We evaluate our skeleton cloud colorization approach with linear classifiers trained under different configurations, including unsupervised, semi-supervised, fully-supervised, and transfer learning settings. Extensive experiments on NTU RGB+D, NTU RGB+D 120, PKU-MMD, NW-UCLA, and UWA3D datasets show that the proposed method outperforms existing unsupervised and semi-supervised 3D action recognition methods by large margins and achieves competitive performance in supervised 3D action recognition as well.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI