How to build the best medical image segmentation algorithm using foundation models: a comprehensive empirical study with Segment Anything Model

要約

自動セグメンテーションは基本的な医療画像分析タスクであり、深い学習の出現により大きな進歩を享受しています。
基礎モデルはしばらくの間、自然言語の処理といくつかのビジョンタスクに役立ちましたが、画像セグメンテーションを念頭に置いて開発された基礎モデル – あらゆるモデル（SAM）は最近開発されており、同様の約束を示しています。
ただし、医療画像セグメンテーションのためのSAMの最適な微調整に関する体系的な分析または「ベストプラクティス」ガイドラインはまだありません。
この作業は、18の組み合わせにわたってさまざまなバックボーンアーキテクチャ、モデルコンポーネント、および微調整アルゴリズムを使用した既存の微調整戦略を要約し、すべての一般的な放射線学のモダリティをカバーする17のデータセットでそれらを評価します。
私たちの研究は、（1）微調整SAMが以前のセグメンテーション方法よりもわずかに優れたパフォーマンスにつながることを明らかにしています。（2）エンコーダーとデコーダーの両方でパラメーター効率の高い学習を使用する微調整戦略は、（3）ネットワークアーキテクチャは最終パフォーマンスにわずかな影響を及ぼします。
また、文献で人気のあるいくつかの方法の非効率性を実証し、さらに実験を少数のショットとプロンプトベースの設定に拡大します。
最後に、https://github.com/mazurowski-lab/finetune-samで、元のSAMよりも一貫して優れたパフォーマンスを得るコードとMRI固有の微調整された重みをリリースしました。

要約(オリジナル)

Automated segmentation is a fundamental medical image analysis task, which enjoys significant advances due to the advent of deep learning. While foundation models have been useful in natural language processing and some vision tasks for some time, the foundation model developed with image segmentation in mind – Segment Anything Model (SAM) – has been developed only recently and has shown similar promise. However, there are still no systematic analyses or ‘best-practice’ guidelines for optimal fine-tuning of SAM for medical image segmentation. This work summarizes existing fine-tuning strategies with various backbone architectures, model components, and fine-tuning algorithms across 18 combinations, and evaluates them on 17 datasets covering all common radiology modalities. Our study reveals that (1) fine-tuning SAM leads to slightly better performance than previous segmentation methods, (2) fine-tuning strategies that use parameter-efficient learning in both the encoder and decoder are superior to other strategies, (3) network architecture has a small impact on final performance, (4) further training SAM with self-supervised learning can improve final model performance. We also demonstrate the ineffectiveness of some methods popular in the literature and further expand our experiments into few-shot and prompt-based settings. Lastly, we released our code and MRI-specific fine-tuned weights, which consistently obtained superior performance over the original SAM, at https://github.com/mazurowski-lab/finetune-SAM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google