要約
近年、基礎モデルや、大規模モデルを下流のタスクに転送する事前学習と適応のパラダイムが、ボリュームメトリックな医用画像セグメンテーションのために注目されている。しかし、現在の転移学習戦略は、転移学習のための完全なファインチューニングに専念しており、ターゲットタスクのラベル付きデータが乏しい場合、多大なリソースを必要とし、最適とは言えない結果をもたらす可能性がある。このため、実際の臨床現場では、独自の解決策を開発するためのデータや計算資源に制約があるため、その適用が困難である。この課題に対処するため、我々は、医療画像セグメンテーション基礎モデルを適応させるための、新規かつ現実的なシナリオである、Few-Shot Efficient Fine-Tuning (FSEFT)を定式化する。この設定では、適応の際のデータ効率とパラメータ効率の両方の重要な役割を考慮する。オープンアクセスCT臓器セグメンテーションソースで事前に訓練された基礎モデルをベースに、パラメータ効率的ファインチューニングとブラックボックスアダプタを活用して、このような課題に対処することを提案する。さらに、本研究では、密な予測タスクに適した空間ブラックボックスアダプタや、タスク固有の事前知識を活用した制約付き転移推論を含む、新しい効率的な適応手法を導入する。我々の包括的な転移学習実験により、医用画像セグメンテーションにおける基礎モデルの適合性が確認され、数ショットのシナリオにおける一般的な微調整戦略の限界が明らかになった。
要約(オリジナル)
The recent popularity of foundation models and the pre-train-and-adapt paradigm, where a large-scale model is transferred to downstream tasks, is gaining attention for volumetric medical image segmentation. However, current transfer learning strategies devoted to full fine-tuning for transfer learning may require significant resources and yield sub-optimal results when the labeled data of the target task is scarce. This makes its applicability in real clinical settings challenging since these institutions are usually constrained on data and computational resources to develop proprietary solutions. To address this challenge, we formalize Few-Shot Efficient Fine-Tuning (FSEFT), a novel and realistic scenario for adapting medical image segmentation foundation models. This setting considers the key role of both data- and parameter- efficiency during adaptation. Building on a foundation model pre-trained on open-access CT organ segmentation sources, we propose leveraging Parameter-Efficient Fine-Tuning and black-box Adapters to address such challenges. Furthermore, novel efficient adaptation methodologies are introduced in this work, which include Spatial black-box Adapters that are more appropriate for dense prediction tasks and constrained transductive inference, leveraging task-specific prior knowledge. Our comprehensive transfer learning experiments confirm the suitability of foundation models in medical image segmentation and unveil the limitations of popular fine-tuning strategies in few-shot scenarios.
arxiv情報
| 著者 | Julio Silva-Rodríguez,Jose Dolz,Ismail Ben Ayed |
| 発行日 | 2024-10-03 17:53:04+00:00 |
| arxivサイト | arxiv_id(pdf) |