Graph Contrastive Learning for Skeleton-based Action Recognition

要約

スケルトンベースのアクション認識の分野では、現在の最高性能のグラフ畳み込みネットワーク (GCN) がシーケンス内コンテキストを利用して、特徴集約用の適応グラフを構築します。
しかし、豊富なクロスシーケンス関係が明示的に調査されていないため、そのようなコンテキストはまだ \textit{local} であると主張します。
この論文では、すべてのシーケンスにわたって \textit{global} コンテキストを探索するために、スケルトンベースの行動認識 (\textit{SkeletonGCL}) のためのグラフ対照学習フレームワークを提案します。
具体的には、SkeletonGCL は、グラフをクラス識別 (\emph{i.e.} クラス内コンパクトおよびクラス間分散) にすることにより、シーケンス全体でグラフ学習を関連付けます。これにより、さまざまなアクション パターンを区別する GCN の能力が向上します。
さらに、2 つのメモリ バンクは、インスタンス レベルと意味レベルの 2 つの補完的なレベルからクロス シーケンス コンテキストを強化するように設計されており、複数のコンテキスト スケールでグラフの対照的な学習を可能にします。
その結果、SkeletonGCL は新しいトレーニング パラダイムを確立し、現在の GCN にシームレスに組み込むことができます。
一般性を失うことなく、SkeletonGCL を 3 つの GCN (2S-ACGN、CTR-GCN、および InfoGCN) と組み合わせて、NTU60、NTU120、および NW-UCLA ベンチマークで一貫した改善を達成します。
ソース コードは、\url{https://github.com/OliverHxh/SkeletonGCL} で入手できます。

要約(オリジナル)

In the field of skeleton-based action recognition, current top-performing graph convolutional networks (GCNs) exploit intra-sequence context to construct adaptive graphs for feature aggregation. However, we argue that such context is still \textit{local} since the rich cross-sequence relations have not been explicitly investigated. In this paper, we propose a graph contrastive learning framework for skeleton-based action recognition (\textit{SkeletonGCL}) to explore the \textit{global} context across all sequences. In specific, SkeletonGCL associates graph learning across sequences by enforcing graphs to be class-discriminative, \emph{i.e.,} intra-class compact and inter-class dispersed, which improves the GCN capacity to distinguish various action patterns. Besides, two memory banks are designed to enrich cross-sequence context from two complementary levels, \emph{i.e.,} instance and semantic levels, enabling graph contrastive learning in multiple context scales. Consequently, SkeletonGCL establishes a new training paradigm, and it can be seamlessly incorporated into current GCNs. Without loss of generality, we combine SkeletonGCL with three GCNs (2S-ACGN, CTR-GCN, and InfoGCN), and achieve consistent improvements on NTU60, NTU120, and NW-UCLA benchmarks. The source code will be available at \url{https://github.com/OliverHxh/SkeletonGCL}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google