Revisiting Hidden Representations in Transfer Learning for Medical Imaging

要約

ディープ ラーニングの成功の鍵となる要素は、膨大な量のトレーニング データを利用できることですが、医用画像データセットは多くの場合、多様性とサイズが制限されています。
転移学習には、関連しているが異なるドメイン間のギャップを埋める可能性があります。
ただし、医療アプリケーションの場合、自然画像と医療画像のどちらで事前トレーニングする方が有益かは不明です。
ImageNet と RadImageNet の初期化を 7 つの医療分類タスクで比較することにより、この問題を明らかにすることを目指しています。
正準相関分析 (CCA) を使用して学習した表現を調査し、異なるモデルの予測を比較します。
全体として、ImageNet で事前トレーニングされたモデルは、RadImageNet でトレーニングされたモデルよりも優れていることがわかりました。
私たちの結果は、直観に反して、ImageNet と RadImageNet が異なる中間表現に収束し、これらの表現が微調整後にさらに類似していないことを示しています。
これらの異なる表現にもかかわらず、モデルの予測は類似しています。
私たちの調査結果は、畳み込みニューラル ネットワークの初期層での一般的な機能の再利用により転移学習が効果的であるという概念に挑戦し、微調整の前後の重みの類似性がパフォーマンスの向上に負の関連があることを示しています。

要約(オリジナル)

While a key component to the success of deep learning is the availability of massive amounts of training data, medical image datasets are often limited in diversity and size. Transfer learning has the potential to bridge the gap between related yet different domains. For medical applications, however, it remains unclear whether it is more beneficial to pre-train on natural or medical images. We aim to shed light on this problem by comparing initialization on ImageNet and RadImageNet on seven medical classification tasks. We investigate their learned representations with Canonical Correlation Analysis (CCA) and compare the predictions of the different models. We find that overall the models pre-trained on ImageNet outperform those trained on RadImageNet. Our results show that, contrary to intuition, ImageNet and RadImageNet converge to distinct intermediate representations, and that these representations are even more dissimilar after fine-tuning. Despite these distinct representations, the predictions of the models remain similar. Our findings challenge the notion that transfer learning is effective due to the reuse of general features in the early layers of a convolutional neural network and show that weight similarity before and after fine-tuning is negatively related to performance gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google