MetaLR: Layer-wise Learning Rate based on Meta-Learning for Adaptively Fine-tuning Medical Pre-trained Models

要約

医療画像分析に転移学習を適用する場合、下流のタスクは、多くの場合、事前トレーニングタスクとの間に大きなギャップがあります。
以前の方法は、主に、ギャップを埋めるために事前にトレーニングされたモデルの転送可能性を改善することに焦点を当てています。
実際、モデルの微調整もこの問題に取り組む上で非常に重要な役割を果たすことができます。
従来の微調整方法は、すべてのディープニューラルネットワーク（DNN）レイヤーを単一の学習率（LR）で更新します。これは、さまざまなレイヤーの固有の転送可能性を無視します。
この作業では、微調整段階でのさまざまなレイヤーの動作を調査します。
より正確には、最初に、低レベルのレイヤーはドメイン固有であり、高レベルのレイヤーはタスク固有であると仮定します。これは、単純な双方向の微調整スキームによって検証されます。
事前にトレーニングされた特定のレイヤーは、一般的なレイヤーよりも新しいタスクに移行するのが困難です。
これに基づいて、さまざまなレイヤーをその転送可能性に応じてダウンストリームタスクによりよく適合させるために、メタ学習ベースのLR学習者、つまりMetaLRが、各レイヤーにLRを自動的に割り当てることが提案されています。
さまざまな医療アプリケーション（POCUS、BUSI、胸部X線、LiTSなど）での広範な実験により、私たちの仮説が十分に確認され、提案された方法が以前の最先端の微調整方法よりも優れていることがわかります。

要約(オリジナル)

When applying transfer learning for medical image analysis, downstream tasks often have significant gaps with the pre-training tasks. Previous methods mainly focus on improving the transferabilities of the pre-trained models to bridge the gaps. In fact, model fine-tuning can also play a very important role in tackling this problem. A conventional fine-tuning method is updating all deep neural networks (DNNs) layers by a single learning rate (LR), which ignores the unique transferabilities of different layers. In this work, we explore the behaviors of different layers in the fine-tuning stage. More precisely, we first hypothesize that lower-level layers are more domain-specific while higher-level layers are more task-specific, which is verified by a simple bi-directional fine-tuning scheme. It is harder for the pre-trained specific layers to transfer to new tasks than general layers. On this basis, to make different layers better co-adapt to the downstream tasks according to their transferabilities, a meta-learning-based LR learner, namely MetaLR, is proposed to assign LRs for each layer automatically. Extensive experiments on various medical applications (i.e., POCUS, BUSI, Chest X-ray, and LiTS) well confirm our hypothesis and show the superior performance of the proposed methods to previous state-of-the-art fine-tuning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google