Keeping Representation Similarity in Finetuning for Medical Image Analysis

要約

大規模な自然な画像で前提とされている基礎モデルは、微調整を通じて医療画像分析に適応するために広く使用されています。
これは、主に、下流のタスクで再加盟することができる、普遍的で堅牢で一般化可能な機能をキャプチャする前提条件の表現に起因しています。
ただし、これらの表現は、後に微調整中に徐々に消滅することがわかり、基礎モデルの元の能力、例えば一般化可能性の分解を伴います。
この論文では、我々は、未来の表現は、下流のタスクに効果的に適応しながら、十分に保存できると主張します。
これは、類似性の不変性に基づいて学習可能な直交マニホールドを制約することにより、前提条件と微調合された表現の間の距離を最小限に抑える新しい微調整法Repsimを提案することで研究します。
標準的な微調整方法、たとえば完全な微調整と比較して、私たちの方法は、競争の精度を維持しながら表現の類似性を30％以上改善し、5つの医療画像分類データセットでシャープネスを42％削減します。
コードがリリースされます。

要約(オリジナル)

Foundation models pretrained on large-scale natural images have been widely used to adapt to medical image analysis through finetuning. This is largely attributed to pretrained representations capturing universal, robust, and generalizable features, which can be reutilized by downstream tasks. However, these representations are later found to gradually vanish during finetuning, accompanied by a degradation of foundation model’s original abilities, e.g., generalizability. In this paper, we argue that pretrained representations can be well preserved while still effectively adapting to downstream tasks. We study this by proposing a new finetuning method RepSim, which minimizes the distance between pretrained and finetuned representations via constraining learnable orthogonal manifold based on similarity invariance. Compared to standard finetuning methods, e.g., full finetuning, our method improves representation similarity by over 30% while maintaining competitive accuracy, and reduces sharpness by 42% across five medical image classification datasets. The code will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google