Medical SAM Adapter: Adapting Segment Anything Model for Medical Image Segmentation

要約

Segment Anything Model (SAM) は、さまざまなセグメンテーション タスクにおける優れた機能とプロンプトベースのインターフェイスにより、画像セグメンテーションの分野で最近人気が高まっています。
しかし、最近の研究や個別の実験では、医療特有の知識が欠如しているため、SAM は医療画像のセグメンテーションにおいて性能が劣っていることが示されています。
このため、医療画像に対する SAM のセグメンテーション機能をどのように強化するかという問題が生じます。
この論文では、SAM モデルを微調整する代わりに、軽量かつ効果的な適応手法を使用して領域固有の医学知識をセグメンテーション モデルに組み込む Medical SAM Adaptor (Med-SA) を提案します。
Med-SA では、2D SAM を 3D 医療画像に適応させるための空間深度転置 (SD-Trans) と、即時条件付き適応を実現するためのハイパープロンプティング アダプター (HyP-Adpt) を提案します。
私たちは、さまざまな画像モダリティにわたる 17 の医用画像セグメンテーション タスクについて包括的な評価実験を実施しています。
Med-SA は、パラメーターの 2\% のみを更新しながら、いくつかの最先端 (SOTA) 医用画像セグメンテーション手法よりも優れたパフォーマンスを発揮します。
私たちのコードは https://github.com/KidsWithTokens/Medical-SAM-Adapter でリリースされています。

要約(オリジナル)

The Segment Anything Model (SAM) has recently gained popularity in the field of image segmentation due to its impressive capabilities in various segmentation tasks and its prompt-based interface. However, recent studies and individual experiments have shown that SAM underperforms in medical image segmentation, since the lack of the medical specific knowledge. This raises the question of how to enhance SAM’s segmentation capability for medical images. In this paper, instead of fine-tuning the SAM model, we propose the Medical SAM Adapter (Med-SA), which incorporates domain-specific medical knowledge into the segmentation model using a light yet effective adaptation technique. In Med-SA, we propose Space-Depth Transpose (SD-Trans) to adapt 2D SAM to 3D medical images and Hyper-Prompting Adapter (HyP-Adpt) to achieve prompt-conditioned adaptation. We conduct comprehensive evaluation experiments on 17 medical image segmentation tasks across various image modalities. Med-SA outperforms several state-of-the-art (SOTA) medical image segmentation methods, while updating only 2\% of the parameters. Our code is released at https://github.com/KidsWithTokens/Medical-SAM-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google