PSGait: Gait Recognition using Parsing Skeleton

要約

歩行認識は、その非侵入性と閉塞への回復力のために、堅牢な生体認証モダリティとして浮上しています。
通常、従来の歩行認識方法は、通常、シルエットまたはスケルトンに依存しています。
制御された実験室環境に対する歩行認識の成功にもかかわらず、彼らは通常、歩行表現のための情報エントロピーが限られているため、実際のシナリオでは失敗します。
野生で正確な歩行認識を実現するために、ペルシングスケルトンという名前の新しい歩行表現を提案します。
この表現は、細粒の身体のダイナミクスをキャプチャするためにスケルトン誘導のヒト解析方法を革新的に導入しているため、歩行中に細粒の人間部品の形状とダイナミクスをコードするための情報エントロピーがはるかに高くなります。
さらに、分析スケルトン表現の能力を効果的に調査するために、PSGAITという名前の新しい解析スケルトンベースの歩行認識フレームワークを提案します。
これらの2つのモダリティを融合することにより、結果の画像シーケンスは、個々の分化を強化するために歩行認識モデルに供給されます。
モデルを評価するために、さまざまなデータセットで包括的なベンチマークを実施します。
PSGAITは、スケルトンとシルエットの両方の入力を利用しながら、計算リソースを大幅に削減する既存の最先端のマルチモーダルメソッドよりも優れています。
さらに、プラグアンドプレイ方法として、PSGAITは、さまざまな歩行認識モデルでランク1の精度が10.9％の最大改善につながります。
これらの結果は、分析骨格が野生で歩行認識のために軽量で効果的で非常に一般化可能な表現を提供することを示しています。

要約(オリジナル)

Gait recognition has emerged as a robust biometric modality due to its non-intrusive nature and resilience to occlusion. Conventional gait recognition methods typically rely on silhouettes or skeletons. Despite their success in gait recognition for controlled laboratory environments, they usually fail in real-world scenarios due to their limited information entropy for gait representations. To achieve accurate gait recognition in the wild, we propose a novel gait representation, named Parsing Skeleton. This representation innovatively introduces the skeleton-guided human parsing method to capture fine-grained body dynamics, so they have much higher information entropy to encode the shapes and dynamics of fine-grained human parts during walking. Moreover, to effectively explore the capability of the Parsing Skeleton representation, we propose a novel Parsing Skeleton-based gait recognition framework, named PSGait, which takes Parsing Skeletons and silhouettes as input. By fusing these two modalities, the resulting image sequences are fed into gait recognition models for enhanced individual differentiation. We conduct comprehensive benchmarks on various datasets to evaluate our model. PSGait outperforms existing state-of-the-art multimodal methods that utilize both skeleton and silhouette inputs while significantly reducing computational resources. Furthermore, as a plug-and-play method, PSGait leads to a maximum improvement of 10.9% in Rank-1 accuracy across various gait recognition models. These results demonstrate that Parsing Skeleton offers a lightweight, effective, and highly generalizable representation for gait recognition in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google