Ladder Fine-tuning approach for SAM integrating complementary network

要約

最近、コンピューター ビジョンの分野でさまざまなタスクを実証する基礎モデルが導入されました。
Segment Anything Model (SAM) などのこれらのモデルは、巨大なデータセットを使用してトレーニングされた一般化されたモデルです。
現在進行中の研究は、医療画像などの特定の領域に対するこれらの一般化されたモデルの効果的な利用を探ることに焦点を当てています。
しかし、医用画像処理では、プライバシー上の懸念やその他の要因によりトレーニング サンプルが不足しているため、これらの一般化されたモデルを医用画像のセグメンテーション タスクに適用する際に大きな課題が生じています。
この問題に対処するには、これらのモデルを効果的に微調整して最適な利用を確保することが重要です。
この研究では、医療画像セグメンテーションのために、補完的な畳み込みニューラル ネットワーク (CNN) と標準 SAM ネットワークを組み合わせることを提案します。
大規模な基盤モデルを微調整する負担を軽減し、コスト効率の高いトレーニング スキームを実装するために、追加の CNN ネットワークと SAM デコーダー部分の微調整のみに焦点を当てます。
この戦略により、トレーニング時間が大幅に短縮され、公開されているデータセットで競争力のある結果が得られます。
コードは https://github.com/11yxk/SAM-LST で入手できます。

要約(オリジナル)

Recently, foundation models have been introduced demonstrating various tasks in the field of computer vision. These models such as Segment Anything Model (SAM) are generalized models trained using huge datasets. Currently, ongoing research focuses on exploring the effective utilization of these generalized models for specific domains, such as medical imaging. However, in medical imaging, the lack of training samples due to privacy concerns and other factors presents a major challenge for applying these generalized models to medical image segmentation task. To address this issue, the effective fine tuning of these models is crucial to ensure their optimal utilization. In this study, we propose to combine a complementary Convolutional Neural Network (CNN) along with the standard SAM network for medical image segmentation. To reduce the burden of fine tuning large foundation model and implement cost-efficient trainnig scheme, we focus only on fine-tuning the additional CNN network and SAM decoder part. This strategy significantly reduces trainnig time and achieves competitive results on publicly available dataset. The code is available at https://github.com/11yxk/SAM-LST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google