Revisiting Hidden Representations in Transfer Learning for Medical Imaging

要約

ディープラーニングの成功の重要な要素は大量のトレーニング データを利用できることですが、医療画像データセットの多様性とサイズには制限があることがよくあります。
転移学習には、関連する異なるドメイン間のギャップを埋める可能性があります。
ただし、医療アプリケーションの場合、自然画像と医療画像のどちらで事前トレーニングする方が有益であるかは不明のままです。
私たちは、7 つの医療分類タスクで ImageNet と RadImageNet の初期化を比較することで、この問題を明らかにすることを目指しています。
私たちの研究には再現研究が含まれており、以前に発表された研究結果とは異なる結果が得られます。
私たちの実験では、ImageNet で事前トレーニングされた ResNet50 モデルは、RadImageNet でトレーニングされたモデルよりも優れたパフォーマンスを示す傾向がありました。
さらなる洞察を得るために、正準相関分析 (CCA) を使用して学習された表現を調査し、さまざまなモデルの予測を比較します。
私たちの結果は、直感に反して、ImageNet と RadImageNet が別個の中間表現に収束する可能性があり、微調整中にさらに発散するように見えることを示しています。
これらの異なる表現にもかかわらず、モデルの予測は類似したままです。
私たちの調査結果は、微調整前後のネットワーク間の類似性がパフォーマンスの向上と相関しないことを示しており、転移学習の利点が畳み込みニューラル ネットワークの初期層の特徴の再利用のみから生じているわけではないことを示唆しています。

要約(オリジナル)

While a key component to the success of deep learning is the availability of massive amounts of training data, medical image datasets are often limited in diversity and size. Transfer learning has the potential to bridge the gap between related yet different domains. For medical applications, however, it remains unclear whether it is more beneficial to pre-train on natural or medical images. We aim to shed light on this problem by comparing initialization on ImageNet and RadImageNet on seven medical classification tasks. Our work includes a replication study, which yields results contrary to previously published findings. In our experiments, ResNet50 models pre-trained on ImageNet tend to outperform those trained on RadImageNet. To gain further insights, we investigate the learned representations using Canonical Correlation Analysis (CCA) and compare the predictions of the different models. Our results indicate that, contrary to intuition, ImageNet and RadImageNet may converge to distinct intermediate representations, which appear to diverge further during fine-tuning. Despite these distinct representations, the predictions of the models remain similar. Our findings show that the similarity between networks before and after fine-tuning does not correlate with performance gains, suggesting that the advantages of transfer learning might not solely originate from the reuse of features in the early layers of a convolutional neural network.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google