Learning Gait Representation from Massive Unlabelled Walking Videos: A Benchmark

要約

歩行は、個人の独特で際立った歩行パターンを表し、人間を識別するための最も有望な生体認証機能の1つになっています。
きめ細かい認識タスクとして、歩行認識は多くの要因の影響を受けやすく、通常、コストがかかり飽き飽きする大量の完全に注釈が付けられたデータを必要とします。
この論文は、対照的な学習を伴う歩行認識のための大規模な自己監視ベンチマークを提案し、有益な歩行の事前分布と多様な実世界のバリエーションを提供することにより、実用的なアプリケーションのための大規模なラベルのない歩行ビデオから一般的な歩行表現を学習することを目的としています。
具体的には、102万の歩行シーケンスで構成される大規模なラベルなし歩行データセットGaitLU-1Mを収集し、概念的に単純でありながら経験的に強力なベースラインモデルG​​aitSSBを提案します。
実験的に、転送学習の有無にかかわらず、4つの広く使用されている歩行ベンチマーク、CASIA-B、OU-MVLP、GREW、およびGait3Dで事前トレーニング済みモデルを評価します。
教師なしの結果は、初期のモデルベースおよびGEIベースの方法に匹敵するか、それよりも優れています。
転移学習後、私たちの方法は、ほとんどの場合、既存の方法を大幅に上回っています。
理論的には、歩行固有の対照的なフレームワークの重要な問題について説明し、さらに研究するための洞察を示します。
私たちが知る限り、GaitLU-1Mは最初の大規模なラベルなし歩行データセットであり、GaitSSBは前述のベンチマークで驚くべき教師なし結果を達成する最初の方法です。
GaitSSBのソースコードは、https：//github.com/ShiqiYu/OpenGaitで入手できるOpenGaitに統合されます。

要約(オリジナル)

Gait depicts individuals’ unique and distinguishing walking patterns and has become one of the most promising biometric features for human identification. As a fine-grained recognition task, gait recognition is easily affected by many factors and usually requires a large amount of completely annotated data that is costly and insatiable. This paper proposes a large-scale self-supervised benchmark for gait recognition with contrastive learning, aiming to learn the general gait representation from massive unlabelled walking videos for practical applications via offering informative walking priors and diverse real-world variations. Specifically, we collect a large-scale unlabelled gait dataset GaitLU-1M consisting of 1.02M walking sequences and propose a conceptually simple yet empirically powerful baseline model GaitSSB. Experimentally, we evaluate the pre-trained model on four widely-used gait benchmarks, CASIA-B, OU-MVLP, GREW and Gait3D with or without transfer learning. The unsupervised results are comparable to or even better than the early model-based and GEI-based methods. After transfer learning, our method outperforms existing methods by a large margin in most cases. Theoretically, we discuss the critical issues for gait-specific contrastive framework and present some insights for further study. As far as we know, GaitLU-1M is the first large-scale unlabelled gait dataset, and GaitSSB is the first method that achieves remarkable unsupervised results on the aforementioned benchmarks. The source code of GaitSSB will be integrated into OpenGait which is available at https://github.com/ShiqiYu/OpenGait.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google