AdapterShadow: Adapting Segment Anything Model for Shadow Detection

要約

セグメント何でもモデル (SAM) は、特に複雑なプロンプトが提供される場合に、ユニバーサル オブジェクトのセグメント化においてその素晴らしいパフォーマンスを示しています。
ただし、SAM には 2 つの欠点があります。
まず、医療画像内の影画像や病変など、特定のターゲットをセグメント化することができません。
一方、プロンプトを手動で指定するのは非常に時間がかかります。
この問題を解決するために、SAM モデルをシャドウ検出に適応させる AdaptorShadow を提案します。
完全な SAM モデルのトレーニングには時間とメモリの両方を消費するため、SAM をシャドウ イメージに適応させるには、トレーニング可能なアダプターが SAM のフリーズされたイメージ エンコーダーに挿入されます。
さらに、高密度ポイント プロンプトを生成する新しいグリッド サンプリング方法を導入します。これは、手動介入なしで自動的に影をセグメント化するのに役立ちます。
私たちが提案する手法の優れたパフォーマンスを実証するために、広く使用されている 4 つのベンチマーク データセットに対して広範な実験が行われています。
コードは https://github.com/LeipingJie/AdapterShadow で公開されます。

要約(オリジナル)

Segment anything model (SAM) has shown its spectacular performance in segmenting universal objects, especially when elaborate prompts are provided. However, the drawback of SAM is twofold. On the first hand, it fails to segment specific targets, e.g., shadow images or lesions in medical images. On the other hand, manually specifying prompts is extremely time-consuming. To overcome the problems, we propose AdapterShadow, which adapts SAM model for shadow detection. To adapt SAM for shadow images, trainable adapters are inserted into the frozen image encoder of SAM, since the training of the full SAM model is both time and memory consuming. Moreover, we introduce a novel grid sampling method to generate dense point prompts, which helps to automatically segment shadows without any manual interventions. Extensive experiments are conducted on four widely used benchmark datasets to demonstrate the superior performance of our proposed method. Codes will are publicly available at https://github.com/LeipingJie/AdapterShadow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google