AquaSAM: Underwater Image Foreground Segmentation

要約

Segment Anything Model (SAM) は自然な画像セグメンテーションに革命をもたらしましたが、水中画像でのパフォーマンスは依然として制限されています。
この研究では、さまざまな水中ターゲットをセグメンテーションするための汎用性の高い方法を作成することを目的として、水中画像での SAM の成功を拡張する最初の試みである AquaSAM を紹介します。
これを実現するには、まず SUIM データセット内のさまざまなラベルを自動的に分類して抽出します。
その後、SAM を一般的な前景の水中画像セグメンテーションに適応させるための簡単な微調整方法を開発しました。
人間のダイバーなどの 8 つのセグメンテーション タスクを含む広範な実験を通じて、AquaSAM が特にサンゴ礁などのハードなタスクにおいてデフォルトの SAM モデルよりも優れていることを実証しました。
AquaSAM は、水中セグメンテーション タスクにおいて、ダイス類似係数 (DSC) の平均 7.13 (%) の改善と、mIoU の平均 8.27 (%) の改善を達成しました。

要約(オリジナル)

The Segment Anything Model (SAM) has revolutionized natural image segmentation, nevertheless, its performance on underwater images is still restricted. This work presents AquaSAM, the first attempt to extend the success of SAM on underwater images with the purpose of creating a versatile method for the segmentation of various underwater targets. To achieve this, we begin by classifying and extracting various labels automatically in SUIM dataset. Subsequently, we develop a straightforward fine-tuning method to adapt SAM to general foreground underwater image segmentation. Through extensive experiments involving eight segmentation tasks like human divers, we demonstrate that AquaSAM outperforms the default SAM model especially at hard tasks like coral reefs. AquaSAM achieves an average Dice Similarity Coefficient (DSC) of 7.13 (%) improvement and an average of 8.27 (%) on mIoU improvement in underwater segmentation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google