Towards Individual Grevy’s Zebra Identification via Deep 3D Fitting and Metric Learning

要約

本論文では、種の検出、3Dモデルフィッティング、メトリック学習のための深層学習技術を1つのパイプラインに組み合わせ、ユニークな毛並みを利用することで写真から動物の個体識別を実行します。これは、これを試みた最初の仕事であり、従来の2DバウンディングボックスまたはセグメンテーションベースのCNN識別パイプラインと比較して、このアプローチは効果的かつ明示的な視点正規化を提供し、学習した生体集団空間のまっすぐな視覚化を可能にします。また、メトリック学習の使用により、このパイプラインはオープンセットやゼロショット再識別シナリオに容易に適用できることに留意されたい。我々は、提案したアプローチをグレービーシマウマ（Equus grevyi）の個体識別に適用し、SMALSTデータセットの小規模な研究で、3Dモデルフィッティングの使用が実際にパフォーマンスに寄与することを示す。特に、3Dフィットモデルからバックプロジェクションされたテクスチャは、このデータセットの2Dバウンディングボックスアプローチと比較して、識別精度を48.0%から56.8%に向上させました。本研究は、より大規模な実世界のアプリケーション設定や洗練されたツールとの比較において達成可能な性能の可能性を完全に推定するにはあまりにも小規模ですが、私たちの研究は、深いメトリック学習駆動、オープン集団設定における完全に3D認識動物識別に向けて動物バイオメトリクスにおける次のステップへの概念と実用的基礎を構築しています。我々は、完全な再現性とさらなる研究のためのインスピレーションとして、ネットワーク重みと関連する促進ソースコードを本論文で公開します。

要約(オリジナル)

This paper combines deep learning techniques for species detection, 3D model fitting, and metric learning in one pipeline to perform individual animal identification from photographs by exploiting unique coat patterns. This is the first work to attempt this and, compared to traditional 2D bounding box or segmentation based CNN identification pipelines, the approach provides effective and explicit view-point normalisation and allows for a straight forward visualisation of the learned biometric population space. Note that due to the use of metric learning the pipeline is also readily applicable to open set and zero shot re-identification scenarios. We apply the proposed approach to individual Grevy’s zebra (Equus grevyi) identification and show in a small study on the SMALST dataset that the use of 3D model fitting can indeed benefit performance. In particular, back-projected textures from 3D fitted models improve identification accuracy from 48.0% to 56.8% compared to 2D bounding box approaches for the dataset. Whilst the study is far too small accurately to estimate the full performance potential achievable in larger-scale real-world application settings and in comparisons against polished tools, our work lays the conceptual and practical foundations for a next step in animal biometrics towards deep metric learning driven, fully 3D-aware animal identification in open population settings. We publish network weights and relevant facilitating source code with this paper for full reproducibility and as inspiration for further research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL