Parameter-Efficient Fine-Tuning for Medical Image Analysis: The Missed Opportunity

要約

基礎モデルは、事前学習微調整パラダイムを通じて大幅に高度な医療画像分析を備えています。
さまざまな微調整アルゴリズムの中でも、パラメーター効率微調整 (PEFT) は、ビジョン言語やテキストから画像への生成など、さまざまなタスクにわたる知識の伝達にますます利用されています。
ただし、PEFT 手法を評価するための構造化されたベンチマークが不足しているため、医用画像解析への応用は比較的研究されていません。
この研究では、さまざまなサイズ、モダリティ、複雑さの 6 つの医療データセットを使用して、画像分類およびテキストから画像への生成タスクに関して、畳み込みおよび変換ベースのネットワークにわたる 17 の異なる PEFT アルゴリズムを評価することで、このギャップを埋めています。
一連の 700 を超える制御実験を通じて、私たちの研究結果は、特に医療画像処理で一般的な低データ領域での PEFT の有効性を実証し、識別タスクと生成タスクで最大 22% のパフォーマンス向上をもたらしました。
これらの推奨事項は、コミュニティが PEFT をワークフローに組み込むのに役立ち、将来の PEFT 手法の公正な比較を促進し、機械学習や AI の他の分野の進歩との整合性を確保します。

要約(オリジナル)

Foundation models have significantly advanced medical image analysis through the pre-train fine-tune paradigm. Among various fine-tuning algorithms, Parameter-Efficient Fine-Tuning (PEFT) is increasingly utilized for knowledge transfer across diverse tasks, including vision-language and text-to-image generation. However, its application in medical image analysis is relatively unexplored due to the lack of a structured benchmark for evaluating PEFT methods. This study fills this gap by evaluating 17 distinct PEFT algorithms across convolutional and transformer-based networks on image classification and text-to-image generation tasks using six medical datasets of varying size, modality, and complexity. Through a battery of over 700 controlled experiments, our findings demonstrate PEFT’s effectiveness, particularly in low data regimes common in medical imaging, with performance gains of up to 22% in discriminative and generative tasks. These recommendations can assist the community in incorporating PEFT into their workflows and facilitate fair comparisons of future PEFT methods, ensuring alignment with advancements in other areas of machine learning and AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google