WildlifeDatasets: An open-source toolkit for animal re-identification

要約

このペーパーでは、主に生態学者やコンピューター ビジョン / 機械学習の研究者を対象としたオープンソース ツールキットである WildlifeDatasets (https://github.com/WildlifeDatasets/wildlife-datasets) について説明します。
WildlifeDatasets は Python で書かれており、公開されている野生動物データセットに簡単にアクセスでき、データセットの前処理、パフォーマンス分析、モデルの微調整のためのさまざまな方法を提供します。
私たちは、さまざまなシナリオとベースライン実験でツールキットを紹介します。これには、私たちの知る限り、局所記述子と深層学習アプローチの両方を含む野生動物の再識別のためのデータセットと手法の最も包括的な実験比較が含まれます。
さらに、幅広い種内の個体再識別のための初の基礎モデルである MegaDescriptor を提供します。これは、動物の再識別データセットで最先端のパフォーマンスを提供し、CLIP などの他の事前トレーニング済みモデルを上回るパフォーマンスを提供します。
DINOv2 に大幅な差をつけています。
モデルを一般公開し、既存の野生生物監視アプリケーションと簡単に統合できるようにするために、HuggingFace ハブ (https://huggingface.co/BVRA) を通じて複数の MegaDescriptor フレーバー (つまり、小、中、大) を提供します。
）。

要約(オリジナル)

In this paper, we present WildlifeDatasets (https://github.com/WildlifeDatasets/wildlife-datasets) – an open-source toolkit intended primarily for ecologists and computer-vision / machine-learning researchers. The WildlifeDatasets is written in Python, allows straightforward access to publicly available wildlife datasets, and provides a wide variety of methods for dataset pre-processing, performance analysis, and model fine-tuning. We showcase the toolkit in various scenarios and baseline experiments, including, to the best of our knowledge, the most comprehensive experimental comparison of datasets and methods for wildlife re-identification, including both local descriptors and deep learning approaches. Furthermore, we provide the first-ever foundation model for individual re-identification within a wide range of species – MegaDescriptor – that provides state-of-the-art performance on animal re-identification datasets and outperforms other pre-trained models such as CLIP and DINOv2 by a significant margin. To make the model available to the general public and to allow easy integration with any existing wildlife monitoring applications, we provide multiple MegaDescriptor flavors (i.e., Small, Medium, and Large) through the HuggingFace hub (https://huggingface.co/BVRA).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google