Revisiting Fine-Tuning Strategies for Self-supervised Medical Imaging Analysis

要約

自己教師あり学習 (SSL) の急速な進歩にもかかわらず、医療画像解析では依然としてエンドツーエンドの微調整が主要な微調整戦略です。
ただし、特にさまざまな種類の機能をキャプチャする SSL の多様なカテゴリを考慮すると、このアプローチが事前トレーニングされた知識を効果的に利用するのに本当に最適であるかどうかは不明のままです。
このペーパーでは、まず、4 つの多様なダウンストリーム タスクにわたって SOTA 手法を上回る、強力な対照的かつ修復的な SSL ベースラインを確立します。
これらの強力なベースラインに基づいて、複数の事前トレーニング データセットと微調整データセット、およびさまざまな微調整データセット サイズにわたって広範な微調整分析を実行します。
事前トレーニングされたネットワークの最後の数層のみを微調整するという従来の常識に反して、ネットワークの第 2 四半期 (25 ～ 50%) の微調整がコントラスト SSL に最適であるのに対し、ネットワークの第 3 四半期 (50 ～ 75%) の微調整は修復 SSL に最適であり、中間層の微調整がより効果的であることを示します。
エンドツーエンドの微調整の事実上の標準と比較して、事前トレーニングされたネットワークの最初の 4 分の 3 (0 ～ 75%) で構成される浅いネットワークを微調整する当社の最良の微調整戦略では、5.48% もの改善が得られます。
さらに、これらの洞察を使用して、複数の SSL モデルの補完的な長所を活用するシンプルかつ効果的な方法を提案します。これにより、最良のモデルを単独で使用した場合と比較して最大 3.57% の機能強化が実現します。
したがって、当社の微調整戦略は、個々の SSL モデルのパフォーマンスを向上させるだけでなく、複数の SSL モデルが提供する補完的な強みを効果的に利用することも可能にし、自己教師あり医用画像解析の大幅な改善につながります。

要約(オリジナル)

Despite the rapid progress in self-supervised learning (SSL), end-to-end fine-tuning still remains the dominant fine-tuning strategy for medical imaging analysis. However, it remains unclear whether this approach is truly optimal for effectively utilizing the pre-trained knowledge, especially considering the diverse categories of SSL that capture different types of features. In this paper, we first establish strong contrastive and restorative SSL baselines that outperform SOTA methods across four diverse downstream tasks. Building upon these strong baselines, we conduct an extensive fine-tuning analysis across multiple pre-training and fine-tuning datasets, as well as various fine-tuning dataset sizes. Contrary to the conventional wisdom of fine-tuning only the last few layers of a pre-trained network, we show that fine-tuning intermediate layers is more effective, with fine-tuning the second quarter (25-50%) of the network being optimal for contrastive SSL whereas fine-tuning the third quarter (50-75%) of the network being optimal for restorative SSL. Compared to the de-facto standard of end-to-end fine-tuning, our best fine-tuning strategy, which fine-tunes a shallower network consisting of the first three quarters (0-75%) of the pre-trained network, yields improvements of as much as 5.48%. Additionally, using these insights, we propose a simple yet effective method to leverage the complementary strengths of multiple SSL models, resulting in enhancements of up to 3.57% compared to using the best model alone. Hence, our fine-tuning strategies not only enhance the performance of individual SSL models, but also enable effective utilization of the complementary strengths offered by multiple SSL models, leading to significant improvements in self-supervised medical imaging analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google