Adaptive Prompt Learning with SAM for Few-shot Scanning Probe Microscope Image Segmentation

要約

Segment Anything Model (SAM) は、自然シーンの画像の画像セグメント化において強力なパフォーマンスを実証しました。
ただし、走査型プローブ顕微鏡 (SPM) 画像などの特定の科学分野に適用すると、その有効性は著しく低下します。
この精度の低下は、科学画像に固有のデータの分布が明確であり、利用可能なデータが限られていることが原因であると考えられます。
一方で、適切な SPM データセットの取得には時間と労力がかかり、またスキルに依存します。
これらの課題に対処するために、数ショットの SPM 画像セグメンテーションに合わせた SAM による適応型プロンプト学習 (APL-SAM) フレームワークを提案します。
私たちのアプローチには、SAM を強化するための 2 つの重要な革新が組み込まれています。 1) 適応プロンプト学習モジュールは、限られたサポート セットから派生した少数ショットの埋め込みを利用して、視覚的なプロンプトとして機能する適応的に中央の代表を学習します。
この革新により、ポイントや境界ボックスをスライスごとに徹底的にマークするなど、プロンプトを提供するために時間のかかるオンライン ユーザー操作が不要になります。
2) 少数ショット SPM 画像セグメンテーション用に特別に設計されたマルチソース、マルチレベル マスク デコーダが導入されており、サポート画像とクエリ画像の間の対応を効果的にキャプチャできます。
包括的なトレーニングと評価を促進するために、SPM 画像セグメンテーション用に厳選された新しいデータセット SPM-Seg を導入します。
このデータセットに対する広範な実験により、提案された APL-SAM フレームワークが元の SAM を大幅に上回り、ワンショット ガイダンスのみでダイス類似係数に関して 30% 以上の改善を達成したことが明らかになりました。
さらに、APL-SAM は、最先端の少数ショット セグメンテーション手法や、完全に監視されたアプローチをもパフォーマンスで上回っています。
この研究で使用されるコードとデータセットは、承認され次第利用可能になります。

要約(オリジナル)

The Segment Anything Model (SAM) has demonstrated strong performance in image segmentation of natural scene images. However, its effectiveness diminishes markedly when applied to specific scientific domains, such as Scanning Probe Microscope (SPM) images. This decline in accuracy can be attributed to the distinct data distribution and limited availability of the data inherent in the scientific images. On the other hand, the acquisition of adequate SPM datasets is both time-intensive and laborious as well as skill-dependent. To address these challenges, we propose an Adaptive Prompt Learning with SAM (APL-SAM) framework tailored for few-shot SPM image segmentation. Our approach incorporates two key innovations to enhance SAM: 1) An Adaptive Prompt Learning module leverages few-shot embeddings derived from limited support set to learn adaptively central representatives, serving as visual prompts. This innovation eliminates the need for time-consuming online user interactions for providing prompts, such as exhaustively marking points and bounding boxes slice by slice; 2) A multi-source, multi-level mask decoder specifically designed for few-shot SPM image segmentation is introduced, which can effectively capture the correspondence between the support and query images. To facilitate comprehensive training and evaluation, we introduce a new dataset, SPM-Seg, curated for SPM image segmentation. Extensive experiments on this dataset reveal that the proposed APL-SAM framework significantly outperforms the original SAM, achieving over a 30% improvement in terms of Dice Similarity Coefficient with only one-shot guidance. Moreover, APL-SAM surpasses state-of-the-art few-shot segmentation methods and even fully supervised approaches in performance. Code and dataset used in this study will be made available upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google