Hierarchical Multi-Label Classification with Missing Information for Benthic Habitat Imagery

要約

この研究では、最先端の自己教師あり学習手法を海底画像の大規模データセット \textit{BenthicNet} に適用し、複雑な階層マルチラベル (HML) 分類の下流タスクに対するパフォーマンスを研究します。
特に、欠落しているアノテーション情報が複数のレベルで存在するシナリオ、つまり、異なるデータ収集プロトコルを使用して複数の研究グループによって収集された異種の実世界データを処理するための重要なシナリオで HML トレーニングを実施できる能力を実証します。
ローカルまたは地域規模の底生科学プロジェクトに典型的な小規模のワンホット画像ラベル データセットを使用する場合、ドメイン内のより大きな底生データのコレクションで自己監視を使用して事前トレーニングされたモデルは、ImageNet で事前トレーニングされたモデルよりも優れたパフォーマンスを発揮することがわかりました。
HML 設定では、モデルがドメイン内データに対する自己監視を使用して事前トレーニングされている場合、モデルがより深く正確な分類を達成できることがわかります。
私たちは、この研究が自動水中画像アノテーション タスクの分野における将来のモデルのベンチマークを確立し、混合解像度の階層的アノテーションを使用する他のドメインの作業の指針となることを願っています。

要約(オリジナル)

In this work, we apply state-of-the-art self-supervised learning techniques on a large dataset of seafloor imagery, \textit{BenthicNet}, and study their performance for a complex hierarchical multi-label (HML) classification downstream task. In particular, we demonstrate the capacity to conduct HML training in scenarios where there exist multiple levels of missing annotation information, an important scenario for handling heterogeneous real-world data collected by multiple research groups with differing data collection protocols. We find that, when using smaller one-hot image label datasets typical of local or regional scale benthic science projects, models pre-trained with self-supervision on a larger collection of in-domain benthic data outperform models pre-trained on ImageNet. In the HML setting, we find the model can attain a deeper and more precise classification if it is pre-trained with self-supervision on in-domain data. We hope this work can establish a benchmark for future models in the field of automated underwater image annotation tasks and can guide work in other domains with hierarchical annotations of mixed resolution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google