Rethinking Transfer Learning for Medical Image Classification

要約

事前トレーニング済みのディープ モデルからの転移学習 (TL) は、最新の医療画像分類 (MIC) における標準的な手法です。
ただし、どのレベルの機能を再利用するかは問題に依存し、事前トレーニング済みモデルのすべてのレイヤーを均一に微調整することは最適ではない場合があります。
この洞察は、TransFusion (TF) やレイヤーごとの微調整 (LWFT) などの最近の \emph{differential} TL 戦略の動機の一部となっています。
この論文では、\emph{TruncatedTL} と呼ばれるもう 1 つの戦略をこのファミリに追加します。これは、適切な最下層を再利用して微調整し、残りの層を直接破棄します。
これにより、他の微分 TL 法と比較して、優れた MIC パフォーマンスだけでなく、効率的な推論のためのコンパクトなモデルも得られます。
2D 画像と 3D 画像の両方をカバーする 3 つの MIC タスクで、TruncatedTL のパフォーマンスとモデル効率を検証します。
たとえば、BIMCV COVID-19 分類データセットでは、標準の完全な TL モデルと比較して、約 $1/4$ のモデル サイズと $2/3$ の推論時間でパフォーマンスが向上します。
コードは https://github.com/sun-umn/Transfer-Learning-in-Medical-Imaging で入手できます。

要約(オリジナル)

Transfer learning (TL) from pretrained deep models is a standard practice in modern medical image classification (MIC). However, what levels of features to be reused are problem-dependent, and uniformly finetuning all layers of pretrained models may be suboptimal. This insight has partly motivated the recent \emph{differential} TL strategies, such as TransFusion (TF) and layer-wise finetuning (LWFT), which treat the layers in the pretrained models differentially. In this paper, we add one more strategy into this family, called \emph{TruncatedTL}, which reuses and finetunes appropriate bottom layers and directly discards the remaining layers. This yields not only superior MIC performance but also compact models for efficient inference, compared to other differential TL methods. We validate the performance and model efficiency of TruncatedTL on three MIC tasks covering both 2D and 3D images. For example, on the BIMCV COVID-19 classification dataset, we obtain improved performance with around $1/4$ model size and $2/3$ inference time compared to the standard full TL model. Code is available at https://github.com/sun-umn/Transfer-Learning-in-Medical-Imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google