Med-Tuning: Exploring Parameter-Efficient Transfer Learning for Medical Volumetric Segmentation

要約

タイトル：Med-Tuning：医療ボリューメトリックセグメンテーションのためのパラメータ効率的な転移学習の探索

要約：

– 通常、医療ボリューメトリックセグメンテーションの深層学習モデルは、ゼロからトレーニングするか、標準の「プレトレーニングした後にフルファインチューニング」パラダイムに従います。
– ダウンストリームタスクで事前にトレーニングされたモデルをフィンチューニングすることで、モデルの表現力を活用できますが、フルフィンチューニングは計算コストやメモリフットプリントの面で高コストです。
– 本論文では、医療ボリューメトリックセグメンテーションのためのパラメーターエフィシエントな転移学習の初めての研究を行い、イントラステージの機能強化とインターステージの機能相互作用に基づいた新しいフレームワーク、「Med-Tuning」を提案します。
– 2D自然画像の大規模事前学習モデルがある場合、当社の方法は、正確な医療ボリューメトリックセグメンテーションに重要な多スケール空間機能表現と画像スライスに沿った時間相関を両方活用できます。
– CTおよびMRIを含む3つのベンチマークデータセットでの広範な実験により、当社の方法は、従来の最先端のパラメータ効率的な転移学習方法およびセグメンテーションタスクのフルフィンチューニングよりも高い精度を実現し、フィンチューニングのコストを大幅に削減しました。
– フルフィンチューニングに比べ、私たちの方法では、フィンチューニングされたモデルパラメータを最大4倍削減し、さらに優れたセグメンテーション性能を発揮します。

要約(オリジナル)

Deep learning based medical volumetric segmentation methods either train the model from scratch or follow the standard ‘pre-training then finetuning’ paradigm. Although finetuning a well pre-trained model on downstream tasks can harness its representation power, the standard full finetuning is costly in terms of computation and memory footprint. In this paper, we present the first study on parameter-efficient transfer learning for medical volumetric segmentation and propose a novel framework named Med-Tuning based on intra-stage feature enhancement and inter-stage feature interaction. Given a large-scale pre-trained model on 2D natural images, our method can exploit both the multi-scale spatial feature representations and temporal correlations along image slices, which are crucial for accurate medical volumetric segmentation. Extensive experiments on three benchmark datasets (including CT and MRI) show that our method can achieve better results than previous state-of-the-art parameter-efficient transfer learning methods and full finetuning for the segmentation task, with much less tuned parameter costs. Compared to full finetuning, our method reduces the finetuned model parameters by up to 4x, with even better segmentation performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI