Less Could Be Better: Parameter-efficient Fine-tuning Advances Medical Vision Foundation Models

要約

当初、事前トレーニングされた大規模言語モデルを活用するために開発されたパラメーター効率の良い微調整 (PEFT) は、コンピューター ビジョン タスクで転移学習を実行するための効果的なアプローチとして最近登場しました。
ただし、医療用視覚基盤モデルに対する PEFT の有効性はまだ不明であり、研究の余地があります。
概念実証として、胸部 X 線撮影基礎モデルに PEFT を適用することに関する詳細な実証研究を実施しました。
具体的には、代表的な PEFT 手法である LoRA を詳しく調べ、確立された 3 つの胸部 X 線写真データセットにわたる 2 つの自己教師あり X 線撮影基礎モデルのフルパラメータ微調整 (FFT) と比較しました。
私たちの結果は、LoRA が 1% 未満の調整可能なパラメーターを使用して、18 の転移学習タスクのうち 13 で FFT を最大 2.9% 上回ったことを示しました。
LoRA と基礎モデルを組み合わせて、NIH ChestX-ray14 の 1% のラベル付きデータを使用した 80.6% の AUROC スコアなど、データ効率の高い学習タスクの範囲で新しい最先端を設定しました。
私たちは、この研究が医療画像タスクの転移学習における PEFT の使用に関してコミュニティからのより多くの注目を集めることができることを願っています。
コードとモデルは https://github.com/RL4M/MED-PEFT で入手できます。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) that was initially developed for exploiting pre-trained large language models has recently emerged as an effective approach to perform transfer learning on computer vision tasks. However, the effectiveness of PEFT on medical vision foundation models is still unclear and remains to be explored. As a proof of concept, we conducted a detailed empirical study on applying PEFT to chest radiography foundation models. Specifically, we delved into LoRA, a representative PEFT method, and compared it against full-parameter fine-tuning (FFT) on two self-supervised radiography foundation models across three well-established chest radiograph datasets. Our results showed that LoRA outperformed FFT in 13 out of 18 transfer learning tasks by at most 2.9% using fewer than 1% tunable parameters. Combining LoRA with foundation models, we set up new state-of-the-art on a range of data-efficient learning tasks, such as an AUROC score of 80.6% using 1% labeled data on NIH ChestX-ray14. We hope this study can evoke more attention from the community in the use of PEFT for transfer learning on medical imaging tasks. Code and models are available at https://github.com/RL4M/MED-PEFT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google