LidarGait: Benchmarking 3D Gait Recognition with Point Clouds

要約

タイトル：LidarGait：ポイントクラウドを用いた3D歩行認識のベンチマーク
要約：
– ビデオベースの歩行認識は、制約されたシナリオでは印象的な結果を出しています。
– しかし、視覚カメラは人間の3D構造情報を無視するため、3D多様な世界における歩行認識の実現可能性に制限があります。
– この研究は、画像から歩行特徴を抽出する代わりに、点群から正確な3D歩行特徴を探索し、LidarGaitと呼ばれる単純で効率的な3D歩行認識フレームワークを提案します。
– 提案された手法は、疎な点群を深度マップに投影して、3Dジオメトリ情報を含む表現を学習します。これは、既存の点ベースとカメラベースの方法を大幅に上回ります。
– ポイントクラウドのデータセットがないため、LiDARセンサとRGBカメラで収集された、1,050の被験者から25,239のシーケンスを含む最初の大規模なLiDARベースの歩行認識データセットSUSTech1Kを構築しました。これは、可視性、視点、障害物、衣服、持ち物、シーンなどの多様性をカバーしています。
– 広範な実験により、（1）3D構造情報が歩行認識に重要な要素であること、（2）LidarGaitが既存の点、シルエットベースの方法を大幅に上回り、安定したクロスビューの結果を提供すること、（3）LiDARセンサが屋外環境での歩行認識に優れていることが示されています。

要約(オリジナル)

Video-based gait recognition has achieved impressive results in constrained scenarios. However, visual cameras neglect human 3D structure information, which limits the feasibility of gait recognition in the 3D wild world. Instead of extracting gait features from images, this work explores precise 3D gait features from point clouds and proposes a simple yet efficient 3D gait recognition framework, termed LidarGait. Our proposed approach projects sparse point clouds into depth maps to learn the representations with 3D geometry information, which outperforms existing point-wise and camera-based methods by a significant margin. Due to the lack of point cloud datasets, we built the first large-scale LiDAR-based gait recognition dataset, SUSTech1K, collected by a LiDAR sensor and an RGB camera. The dataset contains 25,239 sequences from 1,050 subjects and covers many variations, including visibility, views, occlusions, clothing, carrying, and scenes. Extensive experiments show that (1) 3D structure information serves as a significant feature for gait recognition. (2) LidarGait outperforms existing point-based and silhouette-based methods by a significant margin, while it also offers stable cross-view results. (3) The LiDAR sensor is superior to the RGB camera for gait recognition in the outdoor environment. The source code and dataset have been made available at https://lidargait.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI