Image Labels Are All You Need for Coarse Seagrass Segmentation

要約

海草草原は重要な炭素吸収源として機能しますが、そこに蓄えられる炭素の量を推定するには、存在する海草種についての知識が必要です。
機械学習アルゴリズムを搭載した水中および水上ビークルは、大規模な海草牧草地の構成と範囲を正確に推定するのに役立ちます。
ただし、海草の検出と分類に対するこれまでのアプローチでは、パッチレベルのラベルによる監督が必要でした。
この論文では、海草分類を、トレーニング中に画像レベルのラベルが使用され (パッチレベルのラベル付けと比較して 25 分の 1 のラベルが使用されます)、パッチレベルの出力が推論時に取得される、弱く教師のある粗いセグメンテーション問題として再構成します。
この目的を達成するために、教師なし対比事前トレーニングと機能類似性を使用するアーキテクチャである SeaFeats と、ドメイン固有のアプリケーションにおける監視信号として大規模な言語モデルの有効性を示すモデルである SeaCLIP を紹介します。
SeaFeats と SeaCLIP のアンサンブルが非常に堅牢なパフォーマンスにつながることを実証します。
私たちの方法は、複数種の「DeepSeagrass」データセットに対してパッチレベルのラベルを必要とする以前のアプローチよりも、クラス重み付け F1 スコアについては 6.8% (絶対)、海草の有無の F1 スコアについては 12.1% (絶対) 優れています。
「地球規模の湿地」データセット。
また、実世界への展開に関する 2 つのケース スタディも紹介します。1 つは全球湿地データセットでの外れ値の検出、もう 1 つは FloatyBoat 自律水上探査機によって収集された画像への私たちの手法の適用です。

要約(オリジナル)

Seagrass meadows serve as critical carbon sinks, but estimating the amount of carbon they store requires knowledge of the seagrass species present. Underwater and surface vehicles equipped with machine learning algorithms can help to accurately estimate the composition and extent of seagrass meadows at scale. However, previous approaches for seagrass detection and classification have required supervision from patch-level labels. In this paper, we reframe seagrass classification as a weakly supervised coarse segmentation problem where image-level labels are used during training (25 times fewer labels compared to patch-level labeling) and patch-level outputs are obtained at inference time. To this end, we introduce SeaFeats, an architecture that uses unsupervised contrastive pre-training and feature similarity, and SeaCLIP, a model that showcases the effectiveness of large language models as a supervisory signal in domain-specific applications. We demonstrate that an ensemble of SeaFeats and SeaCLIP leads to highly robust performance. Our method outperforms previous approaches that require patch-level labels on the multi-species ‘DeepSeagrass’ dataset by 6.8% (absolute) for the class-weighted F1 score, and by 12.1% (absolute) for the seagrass presence/absence F1 score on the ‘Global Wetlands’ dataset. We also present two case studies for real-world deployment: outlier detection on the Global Wetlands dataset, and application of our method on imagery collected by the FloatyBoat autonomous surface vehicle.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google