GaitMixer: skeleton-based gait representation learning via wide-spectrum multi-axial mixer

要約

既存の歩行認識方法のほとんどは、人間の歩行活動のビデオ データから抽出されたシルエットに依存する外観ベースです。
あまり調査されていない骨格ベースの歩行認識方法は、2D/3D の人間の骨格シーケンスから歩行ダイナミクスを直接学習します。これは、衣服、髪型、および運搬物によって引き起こされる外観の変化が存在する場合に、理論的により堅牢なソリューションです。
ただし、スケルトン ベースのソリューションのパフォーマンスは、依然として外観ベースのソリューションに大きく遅れをとっています。
この論文は、スケルトンシーケンスデータからより識別可能な歩行表現を学習するための新しいネットワークモデル GaitMixer を提案することにより、このようなパフォーマンスギャップを埋めることを目的としています。
特に、GaitMixer は異種多軸ミキサー アーキテクチャに従います。これは、空間自己注意ミキサーとそれに続く時間的大カーネル畳み込みミキサーを利用して、歩行特徴マップの豊富な多周波数信号を学習します。
広く使用されている歩行データベース CASIA-B に関する実験では、GaitMixer が以前の SOTA スケルトン ベースの方法よりも大幅に優れている一方で、代表的な外観ベースのソリューションと比較して競争力のあるパフォーマンスを達成していることが示されています。
コードは https://github.com/exitudio/gaitmixer で入手できます

要約(オリジナル)

Most existing gait recognition methods are appearance-based, which rely on the silhouettes extracted from the video data of human walking activities. The less-investigated skeleton-based gait recognition methods directly learn the gait dynamics from 2D/3D human skeleton sequences, which are theoretically more robust solutions in the presence of appearance changes caused by clothes, hairstyles, and carrying objects. However, the performance of skeleton-based solutions is still largely behind the appearance-based ones. This paper aims to close such performance gap by proposing a novel network model, GaitMixer, to learn more discriminative gait representation from skeleton sequence data. In particular, GaitMixer follows a heterogeneous multi-axial mixer architecture, which exploits the spatial self-attention mixer followed by the temporal large-kernel convolution mixer to learn rich multi-frequency signals in the gait feature maps. Experiments on the widely used gait database, CASIA-B, demonstrate that GaitMixer outperforms the previous SOTA skeleton-based methods by a large margin while achieving a competitive performance compared with the representative appearance-based solutions. Code will be available at https://github.com/exitudio/gaitmixer

arxiv情報

提供元, 利用サービス

arxiv.jp, Google