SkeletonGait: Gait Recognition Using Skeleton Maps

要約

表現の選択は、深い歩行認識方法にとって不可欠です。
バイナリ シルエットと骨格座標は、最近の文献における 2 つの主要な表現であり、多くのシナリオで目覚ましい進歩を遂げています。
ただし、制約のないシーンではシルエットが必ずしも保証されず、スケルトンからの構造的手がかりが十分に活用されていないという、固有の課題が残っています。
この論文では、人間の骨格マップからの構造情報を利用する骨格ベースの方法である SkeletonGait とともに、Skeleton Map と呼ばれる新しい骨格歩行表現を紹介します。
具体的には、スケルトンマップは人間の関節の座標をガウス近似したヒートマップとして表現し、正確な身体構造を欠いたシルエットのような画像を表現します。
5 つの一般的な歩行データセットで最先端のパフォーマンスを達成するだけでなく、さらに重要なことに、SkeletonGait は、歩行を記述する上で構造的特徴がどれほど重要であるか、また構造的特徴がいつ役割を果たすかについての新しい洞察を明らかにします。
さらに、スケルトンとシルエットの両方の相補的な機能を利用するために、SkeletonGait++ という名前のマルチブランチ アーキテクチャを提案します。
実験によれば、SkeletonGait++ は、さまざまなシナリオにおいて既存の最先端の手法を大幅に上回るパフォーマンスを示します。
たとえば、困難な GREW データセットに対して $85\%$ を超えるランク 1 の驚異的な精度を達成します。
すべてのソース コードは https://github.com/ShiqiYu/OpenGait で入手できます。

要約(オリジナル)

The choice of the representations is essential for deep gait recognition methods. The binary silhouettes and skeletal coordinates are two dominant representations in recent literature, achieving remarkable advances in many scenarios. However, inherent challenges remain, in which silhouettes are not always guaranteed in unconstrained scenes, and structural cues have not been fully utilized from skeletons. In this paper, we introduce a novel skeletal gait representation named Skeleton Map, together with SkeletonGait, a skeleton-based method to exploit structural information from human skeleton maps. Specifically, the skeleton map represents the coordinates of human joints as a heatmap with Gaussian approximation, exhibiting a silhouette-like image devoid of exact body structure. Beyond achieving state-of-the-art performances over five popular gait datasets, more importantly, SkeletonGait uncovers novel insights about how important structural features are in describing gait and when do they play a role. Furthermore, we propose a multi-branch architecture, named SkeletonGait++, to make use of complementary features from both skeletons and silhouettes. Experiments indicate that SkeletonGait++ outperforms existing state-of-the-art methods by a significant margin in various scenarios. For instance, it achieves an impressive rank-1 accuracy of over $85\%$ on the challenging GREW dataset. All the source code will be available at https://github.com/ShiqiYu/OpenGait.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google