Transfer Learning with Self-Supervised Vision Transformers for Snake Identification

要約

画像からヘビの種類を予測する SnakeCLEF 2024 コンテストのアプローチを紹介します。
私たちは、182,261 枚の画像のデータセットにおける種の高い変動性と視覚的類似性に取り組むための特徴抽出に Meta の DINOv2 ビジョン トランスフォーマー モデルを調査および使用しています。
エンベディングに対して探索的分析を実行してその構造を理解し、エンベディングに対して線形分類器をトレーニングして種を予測します。
スコア 39.69 を達成したにもかかわらず、私たちの結果は、ヘビ識別における DINOv2 埋め込みの可能性を示しています。
このプロジェクトのすべてのコードは、https://github.com/dsgt-kaggle-clef/snakeclef-2024 で入手できます。

要約(オリジナル)

We present our approach for the SnakeCLEF 2024 competition to predict snake species from images. We explore and use Meta’s DINOv2 vision transformer model for feature extraction to tackle species’ high variability and visual similarity in a dataset of 182,261 images. We perform exploratory analysis on embeddings to understand their structure, and train a linear classifier on the embeddings to predict species. Despite achieving a score of 39.69, our results show promise for DINOv2 embeddings in snake identification. All code for this project is available at https://github.com/dsgt-kaggle-clef/snakeclef-2024.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google