IGFormer: Interaction Graph Transformer for Skeleton-based Human Interaction Recognition

要約

人間の相互作用の認識は、多くのアプリケーションで非常に重要です。
相互作用を認識する際の重要な手がかりの1つは、インタラクティブな身体部分です。
この作業では、インタラクティブな身体部分をグラフとしてモデル化することにより、スケルトンベースの相互作用認識のための新しい相互作用グラフトランスフォーマー（IGFormer）ネットワークを提案します。
より具体的には、提案されたIGFormerは、インタラクティブな身体部分間の意味論的および距離相関に従って相互作用グラフを構築し、学習されたグラフに基づいてインタラクティブな身体部分の情報を集約することによって各人の表現を強化します。
さらに、グラフを学習するためのスケルトンシーケンスの空間的および時間的情報をより適切にキャプチャするために、各人間のスケルトンシーケンスをBody-Part-Timeシーケンスに変換するセマンティックパーティションモジュールを提案します。
3つのベンチマークデータセットでの広範な実験は、私たちのモデルが最先端のモデルを大幅に上回っていることを示しています。

要約(オリジナル)

Human interaction recognition is very important in many applications. One crucial cue in recognizing an interaction is the interactive body parts. In this work, we propose a novel Interaction Graph Transformer (IGFormer) network for skeleton-based interaction recognition via modeling the interactive body parts as graphs. More specifically, the proposed IGFormer constructs interaction graphs according to the semantic and distance correlations between the interactive body parts, and enhances the representation of each person by aggregating the information of the interactive body parts based on the learned graphs. Furthermore, we propose a Semantic Partition Module to transform each human skeleton sequence into a Body-Part-Time sequence to better capture the spatial and temporal information of the skeleton sequence for learning the graphs. Extensive experiments on three benchmark datasets demonstrate that our model outperforms the state-of-the-art with a significant margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google