Database-Agnostic Gait Enrollment using SetTransformers

要約

歩行認識は、監視やモニタリングの用途で関連性が高まっている、控えめで長距離のアイデンティティ分析のための強力なツールとして浮上している。ディープラーニングと大規模データセットの最近の進歩により、クローズドセット条件下での高精度な認識が可能になったが、実世界での展開には、オープンセット歩行登録が必要である。これは、新しい歩行サンプルが既知のアイデンティティに対応するか、以前に見たことのない個人を表すかを判断することを意味する。この研究では、データセットに依存せず、認識アーキテクチャにも依存しない、オープンセット歩行登録のための変換器ベースのフレームワークを紹介する。本手法はSetTransformerを活用し、タスク固有の閾値や新しい環境に対する再トレーニングを必要とせず、プローブサンプルとギャラリーから抽出されたコンテキストセットの埋め込みに基づいて登録決定を行う。エンロールメントをメインの認識パイプラインから切り離すことで、我々のモデルは、異なるデータセット、ギャラリーのサイズ、アイデンティティ分布に渡って一般化される。我々は、アイデンティティとアイデンティティ毎のウォークの異なる比率で既存のデータセットを使用する評価プロトコルを提案する。スケルトンベースの歩行表現を用いて我々の手法をインスタンス化し、3つの最先端認識モデル（GaitGraph、GaitFormer、GaitPT）の埋め込みを用いて、2つのベンチマークデータセット（CASIA-BとPsyMo）で評価する。我々は、本手法が柔軟であり、様々なシナリオにおいて正確に登録を行うことができ、従来のアプローチと比較してデータに対してより良くスケールすることを示す。コードとデータセットのシナリオを公開する予定である。

要約(オリジナル)

Gait recognition has emerged as a powerful tool for unobtrusive and long-range identity analysis, with growing relevance in surveillance and monitoring applications. Although recent advances in deep learning and large-scale datasets have enabled highly accurate recognition under closed-set conditions, real-world deployment demands open-set gait enrollment, which means determining whether a new gait sample corresponds to a known identity or represents a previously unseen individual. In this work, we introduce a transformer-based framework for open-set gait enrollment that is both dataset-agnostic and recognition-architecture-agnostic. Our method leverages a SetTransformer to make enrollment decisions based on the embedding of a probe sample and a context set drawn from the gallery, without requiring task-specific thresholds or retraining for new environments. By decoupling enrollment from the main recognition pipeline, our model is generalized across different datasets, gallery sizes, and identity distributions. We propose an evaluation protocol that uses existing datasets in different ratios of identities and walks per identity. We instantiate our method using skeleton-based gait representations and evaluate it on two benchmark datasets (CASIA-B and PsyMo), using embeddings from three state-of-the-art recognition models (GaitGraph, GaitFormer, and GaitPT). We show that our method is flexible, is able to accurately perform enrollment in different scenarios, and scales better with data compared to traditional approaches. We will make the code and dataset scenarios publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL