TriGait: Aligning and Fusing Skeleton and Silhouette Gait Data via a Tri-Branch Network

要約

歩行認識は、非侵襲的かつ長距離であるため、識別のための有望な生体認証技術です。
しかし、衣服の変化や視点の違いなどの外部変化は、歩行認識に大きな課題をもたらします。
シルエットベースの方法では、体の形状は保持されますが、内部構造情報は無視されます。一方、スケルトンベースの方法では、構造情報は保持されますが、外観は省略されます。
2 つのモダリティの相補的な性質を十分に活用するために、新しい三重分岐歩行認識フレームワークである TriGait がこの論文で提案されています。
これは、外観から静的特徴と動きの特徴を抽出するための 2 つのストリーム ネットワーク、すべての関節間の依存関係をキャプチャするための JSA-TC という名前のシンプルかつ効果的なモジュール、および 3 番目のモジュールを含む、ハイブリッド フュージョン方式でスケルトン データとシルエット データの特徴を効果的に統合します。
2 つのモダリティの低レベルの機能を調整して融合することにより、クロスモーダル学習のブランチを作成します。
実験結果は、歩行認識における TriGait の優位性と有効性を実証しています。
提案された手法は、CASIA-B データセットのすべての条件で 96.0% の平均ランク 1 精度、CL で 94.3% の精度を達成し、すべての最先端の手法を大幅に上回りました。
ソース コードは https://github.com/feng-xueling/TriGait/ で入手できます。

要約(オリジナル)

Gait recognition is a promising biometric technology for identification due to its non-invasiveness and long-distance. However, external variations such as clothing changes and viewpoint differences pose significant challenges to gait recognition. Silhouette-based methods preserve body shape but neglect internal structure information, while skeleton-based methods preserve structure information but omit appearance. To fully exploit the complementary nature of the two modalities, a novel triple branch gait recognition framework, TriGait, is proposed in this paper. It effectively integrates features from the skeleton and silhouette data in a hybrid fusion manner, including a two-stream network to extract static and motion features from appearance, a simple yet effective module named JSA-TC to capture dependencies between all joints, and a third branch for cross-modal learning by aligning and fusing low-level features of two modalities. Experimental results demonstrate the superiority and effectiveness of TriGait for gait recognition. The proposed method achieves a mean rank-1 accuracy of 96.0% over all conditions on CASIA-B dataset and 94.3% accuracy for CL, significantly outperforming all the state-of-the-art methods. The source code will be available at https://github.com/feng-xueling/TriGait/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google