Retrieval-augmented Few-shot Medical Image Segmentation with Foundation Models

要約

医療画像のセグメンテーションは臨床上の意思決定にとって重要ですが、注釈付きデータが不足していることが大きな課題となっています。
フューショット セグメンテーション (FSS) 手法は有望ですが、多くの場合ターゲット ドメインでの再トレーニングが必要であり、さまざまなモダリティ間で一般化するのが困難です。
同様に、セグメント エニシング モデル (SAM) のような基礎モデルを医療画像に適応させるには、微調整やドメイン固有の適応の必要性などの制限があります。
これらの問題に対処するために、我々は、DINOv2 と Segment Anything Model 2 (SAM 2) を、検索拡張された少数ショット医用画像セグメンテーションに適応させる新しい方法を提案します。
私たちのアプローチでは、DINOv2 の機能をクエリとして使用し、限られた注釈付きデータから類似のサンプルを取得します。その後、それらのサンプルはメモリとしてエンコードされ、メモリ バンクに保存されます。
SAM 2 のメモリ アテンション メカニズムを使用すると、モデルはこれらのメモリを条件として利用して、ターゲット画像の正確なセグメンテーションを生成します。
私たちは 3 つの医療画像セグメンテーション タスクでフレームワークを評価し、再トレーニングや微調整を必要とせずに、さまざまなモダリティにわたって優れたパフォーマンスと汎用性を実証しました。
全体として、この方法は、数ショットの医用画像セグメンテーションに対する実用的かつ効果的なソリューションを提供し、臨床応用における貴重なアノテーション ツールとして大きな可能性を秘めています。

要約(オリジナル)

Medical image segmentation is crucial for clinical decision-making, but the scarcity of annotated data presents significant challenges. Few-shot segmentation (FSS) methods show promise but often require retraining on the target domain and struggle to generalize across different modalities. Similarly, adapting foundation models like the Segment Anything Model (SAM) for medical imaging has limitations, including the need for finetuning and domain-specific adaptation. To address these issues, we propose a novel method that adapts DINOv2 and Segment Anything Model 2 (SAM 2) for retrieval-augmented few-shot medical image segmentation. Our approach uses DINOv2’s feature as query to retrieve similar samples from limited annotated data, which are then encoded as memories and stored in memory bank. With the memory attention mechanism of SAM 2, the model leverages these memories as conditions to generate accurate segmentation of the target image. We evaluated our framework on three medical image segmentation tasks, demonstrating superior performance and generalizability across various modalities without the need for any retraining or finetuning. Overall, this method offers a practical and effective solution for few-shot medical image segmentation and holds significant potential as a valuable annotation tool in clinical applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google