Species196: A One-Million Semi-supervised Dataset for Fine-grained Species Recognition

要約

基礎視覚モデルの開発により、一般的な視覚認識は高いレベルに押し上げられましたが、外来種の分類などの特殊な領域でのきめの細かい認識には十分に対応できません。
外来種の特定と管理には、社会的および生態学的に大きな価値があります。
現在、ほとんどの侵入種データセットは規模が限られており、狭い範囲の種をカバーしているため、深層学習ベースの侵入生体認証システムの開発が制限されています。
この領域のギャップを埋めるために、196 カテゴリーの外来種の大規模な半教師ありデータセットである Species196 を導入しました。
専門家レベルの正確な注釈が付いた 19,000 枚以上の画像 Species196-L と、ラベルなしの外来種 Species196-U の 120 万枚の画像を収集します。
このデータセットは、既存のモデルとアルゴリズムをベンチマークするための 4 つの実験設定、つまり教師あり学習、半教師あり学習、自己教師あり事前トレーニング、および大規模なマルチモーダル モデルのゼロショット推論能力を提供します。
これら 4 つの学習パラダイムに関する将来の研究を促進するために、導入されたデータセットに対する代表的な手法の実証研究を実施します。
データセットは https://species-dataset.github.io/ で公開されています。

要約(オリジナル)

The development of foundation vision models has pushed the general visual recognition to a high level, but cannot well address the fine-grained recognition in specialized domain such as invasive species classification. Identifying and managing invasive species has strong social and ecological value. Currently, most invasive species datasets are limited in scale and cover a narrow range of species, which restricts the development of deep-learning based invasion biometrics systems. To fill the gap of this area, we introduced Species196, a large-scale semi-supervised dataset of 196-category invasive species. It collects over 19K images with expert-level accurate annotations Species196-L, and 1.2M unlabeled images of invasive species Species196-U. The dataset provides four experimental settings for benchmarking the existing models and algorithms, namely, supervised learning, semi-supervised learning, self-supervised pretraining and zero-shot inference ability of large multi-modal models. To facilitate future research on these four learning paradigms, we conduct an empirical study of the representative methods on the introduced dataset. The dataset is publicly available at https://species-dataset.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google