The Paradox of Motion: Evidence for Spurious Correlations in Skeleton-based Gait Recognition Models

要約

目立たない生体認証である Gait は、外部の服装や環境条件にかかわらず、離れた場所にいる個人を識別できる機能で高く評価されています。
この研究は、視覚ベースの歩行認識、特に骨格ベースの歩行認識は主に動作パターンに依存しているという一般的な仮定に疑問を呈し、歩行シーケンスにエンコードされた暗黙的な人体計測情報の重要な役割を明らかにしました。
比較分析を通じて、高さ情報を削除すると、3 つのモデルと 2 つのベンチマーク (CASIA-B と GREW) で顕著なパフォーマンスの低下が生じることがわかりました。
さらに、時間情報を無視して個々のポーズを処理する空間変換モデルを提案します。これにより、不当に高い精度が達成され、外観情報への偏りが強調され、既存のベンチマークの偽の相関が示されます。
これらの発見は、視覚ベースの歩行認識における動作と外観の間の相互作用を微妙に理解する必要性を強調しており、この分野における方法論的前提の再評価を促しています。
私たちの実験では、「自然界の」データセットは誤った相関が発生しにくいことが示されており、この分野を進歩させるにはより多様で大規模なデータセットの必要性が高まっています。

要約(オリジナル)

Gait, an unobtrusive biometric, is valued for its capability to identify individuals at a distance, across external outfits and environmental conditions. This study challenges the prevailing assumption that vision-based gait recognition, in particular skeleton-based gait recognition, relies primarily on motion patterns, revealing a significant role of the implicit anthropometric information encoded in the walking sequence. We show through a comparative analysis that removing height information leads to notable performance degradation across three models and two benchmarks (CASIA-B and GREW). Furthermore, we propose a spatial transformer model processing individual poses, disregarding any temporal information, which achieves unreasonably good accuracy, emphasizing the bias towards appearance information and indicating spurious correlations in existing benchmarks. These findings underscore the need for a nuanced understanding of the interplay between motion and appearance in vision-based gait recognition, prompting a reevaluation of the methodological assumptions in this field. Our experiments indicate that ‘in-the-wild’ datasets are less prone to spurious correlations, prompting the need for more diverse and large scale datasets for advancing the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google