FoPro-KD: Fourier Prompted Effective Knowledge Distillation for Long-Tailed Medical Image Recognition

要約

公的に利用可能なモデルからの表現の転送は、特に希少疾患を含むロングテール データセットにおいて、医用画像分類を改善するための有望な技術です。
しかし、既存の方法では、これらのモデルの周波数依存の挙動が見落とされることが多く、そのため、希少疾患に対する表現や一般化を移す際の有効性が制限されています。
この論文では、凍結された事前トレーニング済みモデルから学習した周波数パターンの力を利用して転送性と圧縮を強化する新しいフレームワークである FoPro-KD を提案し、いくつかのユニークな洞察を示します。 1) 公的に入手可能なモデルの表現を活用することを実証します。
事前トレーニングされたモデルは、より小規模な事前トレーニングされたモデルの表現を利用する場合でも、特にまれなクラスのパフォーマンスを大幅に向上させることができます。
2) 事前トレーニングされたモデルが周波数の好みを示すことを観察しました。これを私たちが提案するフーリエ プロンプト ジェネレーター (FPG) を使用して調査します。これにより、入力画像内の特定の周波数を操作できるようになり、識別表現の伝達が強化されます。
3) 入力画像内のこれらの周波数を増幅または減衰することにより、効果的な知識の蒸留 (EKD) が可能になります。
EKD は、事前トレーニングされたモデルからより小さなモデルへの知識の伝達を容易にします。
希少疾患が蔓延するロングテール胃腸画像認識と皮膚病変分類における広範な実験を通じて、当社の FoPro-KD フレームワークは既存の手法を上回り、希少疾患分類のためのより利用しやすい医療モデルを可能にします。
コードは https://github.com/xmed-lab/FoPro-KD で入手できます。

要約(オリジナル)

Representational transfer from publicly available models is a promising technique for improving medical image classification, especially in long-tailed datasets with rare diseases. However, existing methods often overlook the frequency-dependent behavior of these models, thereby limiting their effectiveness in transferring representations and generalizations to rare diseases. In this paper, we propose FoPro-KD, a novel framework that leverages the power of frequency patterns learned from frozen pre-trained models to enhance their transferability and compression, presenting a few unique insights: 1) We demonstrate that leveraging representations from publicly available pre-trained models can substantially improve performance, specifically for rare classes, even when utilizing representations from a smaller pre-trained model. 2) We observe that pre-trained models exhibit frequency preferences, which we explore using our proposed Fourier Prompt Generator (FPG), allowing us to manipulate specific frequencies in the input image, enhancing the discriminative representational transfer. 3) By amplifying or diminishing these frequencies in the input image, we enable Effective Knowledge Distillation (EKD). EKD facilitates the transfer of knowledge from pre-trained models to smaller models. Through extensive experiments in long-tailed gastrointestinal image recognition and skin lesion classification, where rare diseases are prevalent, our FoPro-KD framework outperforms existing methods, enabling more accessible medical models for rare disease classification. Code is available at https://github.com/xmed-lab/FoPro-KD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google