Adapting a Segmentation Foundation Model for Medical Image Classification

要約

セグメントAnyny Model（SAM）などの基礎モデルの最近の進歩は、印象的なゼロショットセグメンテーション機能により、さまざまなビジョンタスク、特に画像セグメンテーションで強力なパフォーマンスを示しています。
ただし、医療画像分類のためにこのようなモデルを効果的に適応させることは、依然としてあまり探求されていないトピックです。
この論文では、医療画像分類にSAMを適応させるための新しいフレームワークを紹介します。
まず、SAMイメージエンコーダーを機能抽出器として利用して、画像の重要な空間的およびコンテキストの詳細を伝えるセグメンテーションベースの機能をキャプチャし、トレーニング中の不必要なオーバーヘッドを避けるために重みを凍結します。
次に、機能マップの空間的に局在する注意力を計算するための空間的に局在するチャネル注意（SLCA）メカニズムを提案します。
SAMの画像エンコーダーから抽出された機能は、SLCAを介して処理され、注意重量を計算します。これにより、深い学習分類モデルに統合され、画像の空間的に関連するまたは意味のある領域への焦点が強化され、分類パフォーマンスが向上します。
3つの公開医療画像分類データセットの実験結果は、アプローチの有効性とデータ効率を示しています。

要約(オリジナル)

Recent advancements in foundation models, such as the Segment Anything Model (SAM), have shown strong performance in various vision tasks, particularly image segmentation, due to their impressive zero-shot segmentation capabilities. However, effectively adapting such models for medical image classification is still a less explored topic. In this paper, we introduce a new framework to adapt SAM for medical image classification. First, we utilize the SAM image encoder as a feature extractor to capture segmentation-based features that convey important spatial and contextual details of the image, while freezing its weights to avoid unnecessary overhead during training. Next, we propose a novel Spatially Localized Channel Attention (SLCA) mechanism to compute spatially localized attention weights for the feature maps. The features extracted from SAM’s image encoder are processed through SLCA to compute attention weights, which are then integrated into deep learning classification models to enhance their focus on spatially relevant or meaningful regions of the image, thus improving classification performance. Experimental results on three public medical image classification datasets demonstrate the effectiveness and data-efficiency of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google