Embedded Visual Prompt Tuning

要約

大規模なデータで事前に訓練された基礎モデルは、さまざまな自然なイメージングの下流タスクで成功を達成するために広く目撃されています。
パラメーター効率の高い微調整（PEFT）メソッドは、計算オーバーヘッドを減らすためにパラメーターのごく一部のみを更新することにより、基礎モデルを新しいドメインに適応させることを目的としています。
ただし、特にクロスドメインの少数のショットシナリオ、たとえば医療画像分析では、これらのPEFTメソッドの有効性は完全には検討されていません。
この作業では、基礎モデルを医療画像分類タスクに適応させる際のPEFTのパフォーマンスの研究を促進します。
さらに、メインストリームプロンプトチューニング方法のトランスアーキテクチャに関する迅速な導入方法と近似機能を導入するために、拡張トークンを拡張したチャネルに埋め込むことにより、組み込みプロンプトチューニング（EPT）メソッドを提案します。
また、トレーニング前のプロセス中にファンデーションモデルの特徴空間分布に異常があることがわかり、迅速なチューニングはこのマイナスの影響を軽減するのに役立つことがわかります。
この現象を説明するために、迅速な調整を理解するための新しい視点も紹介します。プロンプトチューニングは分布キャリブレーターです。
また、EPTに含まれるパッチごとのスケーリングと機能分離操作を分析することにより、サポートします。
私たちの実験は、EPTが少数のショットの医療画像分類タスクの大幅なマージンによっていくつかの最先端の微調整方法を上回り、非常に競争力のある時間内に微調整プロセスを完了することを示しています。
ソースコードはgithub.com/zuwenqiang/eptで入手できます。

要約(オリジナル)

Foundation models pre-trained on large-scale data have been widely witnessed to achieve success in various natural imaging downstream tasks. Parameter-efficient fine-tuning (PEFT) methods aim to adapt foundation models to new domains by updating only a small portion of parameters in order to reduce computational overhead. However, the effectiveness of these PEFT methods, especially in cross-domain few-shot scenarios, e.g., medical image analysis, has not been fully explored. In this work, we facilitate the study of the performance of PEFT when adapting foundation models to medical image classification tasks. Furthermore, to alleviate the limitations of prompt introducing ways and approximation capabilities on Transformer architectures of mainstream prompt tuning methods, we propose the Embedded Prompt Tuning (EPT) method by embedding prompt tokens into the expanded channels. We also find that there are anomalies in the feature space distribution of foundation models during pre-training process, and prompt tuning can help mitigate this negative impact. To explain this phenomenon, we also introduce a novel perspective to understand prompt tuning: Prompt tuning is a distribution calibrator. And we support it by analyzing patch-wise scaling and feature separation operations contained in EPT. Our experiments show that EPT outperforms several state-of-the-art fine-tuning methods by a significant margin on few-shot medical image classification tasks, and completes the fine-tuning process within highly competitive time, indicating EPT is an effective PEFT method. The source code is available at github.com/zuwenqiang/EPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google