Two-person Graph Convolutional Network for Skeleton-based Human Interaction Recognition

要約

グラフ畳み込みネットワーク (GCN) は、人間と人間の相互作用認識タスクを含む、スケルトンベースの人間の行動認識領域で以前の方法よりも優れています。
ただし、相互作用シーケンスを処理する場合、現在の GCN ベースの方法は、単純に 2 人の骨格を 2 つの個別のシーケンスに分割し、1 人のアクション分類の方法でグラフ畳み込みを個別に実行します。
このような操作は、豊富な対話型情報を無視し、意味パターン学習のための効果的な空間関係モデリングを妨げます。
上記の欠点を克服するために、関節間の空間的相互作用の相関関係を表す新しい統一された 2 人グラフを導入します。
また、適切に設計されたグラフ ラベル付け戦略が提案され、GCN モデルが判別可能な時空間インタラクティブ機能を学習できるようになります。
実験では、提案された 2 人のグラフ トポロジを利用すると、インタラクションと個々のアクションの両方で精度が向上することが示されています。
最後に、2 人グラフ畳み込みネットワーク (2P-GCN) を提案します。
提案された 2P-GCN は、3 つの相互作用データセット、SBU、NTU-RGB+D、および NTU-RGB+D 120 の 4 つのベンチマークで最先端の結果を達成します。

要約(オリジナル)

Graph Convolutional Network (GCN) outperforms previous methods in the skeleton-based human action recognition area, including human-human interaction recognition task. However, when dealing with interaction sequences, current GCN-based methods simply split the two-person skeleton into two discrete sequences and perform graph convolution separately in the manner of single-person action classification. Such operation ignores rich interactive information and hinders effective spatial relationship modeling for semantic pattern learning. To overcome the above shortcoming, we introduce a novel unified two-person graph representing spatial interaction correlations between joints. Also, a properly designed graph labeling strategy is proposed to let our GCN model learn discriminant spatial-temporal interactive features. Experiments show accuracy improvements in both interactions and individual actions when utilizing the proposed two-person graph topology. Finally, we propose a Two-person Graph Convolutional Network (2P-GCN). The proposed 2P-GCN achieves state-of-the-art results on four benchmarks of three interaction datasets, SBU, NTU-RGB+D, and NTU-RGB+D 120.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google