Revisiting Fine-Tuning Strategies for Self-supervised Medical Imaging Analysis

要約

自己教師あり学習 (SSL) の急速な進歩にもかかわらず、医療画像解析では依然としてエンドツーエンドの微調整が主要な微調整戦略です。
ただし、特にさまざまな種類の機能をキャプチャする SSL の多様なカテゴリを考慮すると、このアプローチが事前トレーニングされた知識を効果的に利用するのに本当に最適であるかどうかは不明のままです。
この論文では、医療画像処理における自己教師あり学習のための効果的な微調整戦略を発見した最初の包括的な研究を紹介します。
4 つの多様な下流タスクにわたって SOTA 手法を上回る強力な対照的で復元的な SSL ベースラインを開発した後、複数の事前トレーニング データセットと微調整データセット、およびさまざまな微調整データセット サイズにわたって広範な微調整分析を実行します。
事前トレーニングされたネットワークの最後の数層のみを微調整するという従来の常識に反して、ネットワークの第 2 四半期 (25 ～ 50%) を微調整することで、中間層を微調整する方が効果的であることを示します。
コントラスト SSL には最適ですが、修復 SSL には最適なネットワークの第 3 四半期 (50 ～ 75%) を微調整します。
エンドツーエンドの微調整の事実上の標準と比較して、事前トレーニングされたネットワークの最初の 4 分の 3 (0 ～ 75%) で構成される浅いネットワークを微調整する当社の最良の微調整戦略は、
5.48% もの改善が見られます。
さらに、これらの洞察を使用して、複数の SSL モデルの補完的な長所を活用するシンプルかつ効果的な方法を提案します。これにより、最良のモデルを単独で使用した場合と比較して最大 3.57% の機能強化が実現します。
したがって、当社の微調整戦略は、個々の SSL モデルのパフォーマンスを向上させるだけでなく、複数の SSL モデルが提供する補完的な強みを効果的に利用することも可能にし、自己教師あり医用画像解析の大幅な改善につながります。

要約(オリジナル)

Despite the rapid progress in self-supervised learning (SSL), end-to-end fine-tuning still remains the dominant fine-tuning strategy for medical imaging analysis. However, it remains unclear whether this approach is truly optimal for effectively utilizing the pre-trained knowledge, especially considering the diverse categories of SSL that capture different types of features. In this paper, we present the first comprehensive study that discovers effective fine-tuning strategies for self-supervised learning in medical imaging. After developing strong contrastive and restorative SSL baselines that outperform SOTA methods across four diverse downstream tasks, we conduct an extensive fine-tuning analysis across multiple pre-training and fine-tuning datasets, as well as various fine-tuning dataset sizes. Contrary to the conventional wisdom of fine-tuning only the last few layers of a pre-trained network, we show that fine-tuning intermediate layers is more effective, with fine-tuning the second quarter (25-50%) of the network being optimal for contrastive SSL whereas fine-tuning the third quarter (50-75%) of the network being optimal for restorative SSL. Compared to the de-facto standard of end-to-end fine-tuning, our best fine-tuning strategy, which fine-tunes a shallower network consisting of the first three quarters (0-75%) of the pre-trained network, yields improvements of as much as 5.48%. Additionally, using these insights, we propose a simple yet effective method to leverage the complementary strengths of multiple SSL models, resulting in enhancements of up to 3.57% compared to using the best model alone. Hence, our fine-tuning strategies not only enhance the performance of individual SSL models, but also enable effective utilization of the complementary strengths offered by multiple SSL models, leading to significant improvements in self-supervised medical imaging analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google