GaitMAST: Motion-Aware Spatio-Temporal Feature Learning Network for Cross-View Gait Recognition

要約

歩行は、離れた場所からでも認識できるユニークな生体認証として、個人認証や社会保障などに広く応用されています。
既存の歩行認識方法は、空間表現または時空間表現のいずれかを抽出することに注意を払っています。
しかし、歩行の基本的な特徴である多様な運動特徴を歩行シーケンスから抽出することはほとんど考慮されていません。
この論文では、GaitMAST と呼ばれる歩行認識用の新しいモーション認識時空間特徴学習ネットワークを提案します。これは、モーション認識機能の可能性を解き放つことができます。
具体的には、浅いレイヤーでは、デュアルパスフレームレベルの特徴抽出器を提案します。この場合、1つのパスは全体的な時空間特徴を抽出し、もう1つのパスは動的領域に焦点を当てて動きの顕著な特徴を抽出します。
より深いレイヤーでは、2 つのブランチのクリップレベルの特徴抽出器を設計します。1 つはきめの細かい空間情報に焦点を当て、もう 1 つは動きの詳細の保存に焦点を当てています。
その結果、GaitMAST は個人の固有の歩行パターンを適切に保存し、時空間的特徴のロバスト性をさらに高めます。
一般的に使用される 2 つのクロスビュー歩行データセットに関する広範な実験結果は、既存の最先端の方法よりも GaitMAST の優れたパフォーマンスを示しています。
CASIA-B では、モデルはランク 1 の平均精度 94.1% を達成しています。
特に、GaitMAST は、バッグの持ち運びとコートの着用条件下で、それぞれ 96.1% と 88.1% のランク 1 精度を達成し、2 番目のベストを大幅に上回り、空間的変動に対するロバスト性を示しています。

要約(オリジナル)

As a unique biometric that can be perceived at a distance, gait has broad applications in person authentication, social security and so on. Existing gait recognition methods pay attention to extracting either spatial or spatiotemporal representations. However, they barely consider extracting diverse motion features, a fundamental characteristic in gaits, from gait sequences. In this paper, we propose a novel motion-aware spatiotemporal feature learning network for gait recognition, termed GaitMAST, which can unleash the potential of motion-aware features. In the shallow layer, specifically, we propose a dual-path frame-level feature extractor, in which one path extracts overall spatiotemporal features and the other extracts motion salient features by focusing on dynamic regions. In the deeper layers, we design a two-branch clip-level feature extractor, in which one focuses on fine-grained spatial information and the other on motion detail preservation. Consequently, our GaitMAST preserves the individual’s unique walking patterns well, further enhancing the robustness of spatiotemporal features. Extensive experimental results on two commonly-used cross-view gait datasets demonstrate the superior performance of GaitMAST over existing state-of-the-art methods. On CASIA-B, our model achieves an average rank-1 accuracy of 94.1%. In particular, GaitMAST achieves rank-1 accuracies of 96.1% and 88.1% under the bag-carry and coat wearing conditions, respectively, outperforming the second best by a large margin and demonstrating its robustness against spatial variations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google