MedMerge: Merging Models for Effective Transfer Learning to Medical Imaging Tasks

要約

転移学習は、深層学習モデルを初期化してより高速な収束とより高いパフォーマンスを実現するための強力なツールとなっています。
これは、データ不足により深層学習モデルのパフォーマンス向上が制限される医療画像解析分野で特に役立ちます。
同じ初期化から開始してモデルを結合することにより、転移学習のパフォーマンス向上がいくつかの進歩を遂げました。
ただし、医用画像解析ドメインでは、異なる初期化から開始してモデルを結合する機会があり、これにより、異なるタスクから学習した機能を組み合わせることができます。
この研究では、異なるモデルの重みをマージし、その機能を効果的に利用して新しいタスクのパフォーマンスを向上させる方法である MedMerge を提案します。
MedMerge を使用すると、異なる初期化から開始する場合でも、後でモデルを単一のモデルにマージするために使用できるカーネル レベルの重みを学習します。
さまざまな医用画像解析タスクをテストした結果、統合モデルは F1 スコアを最大 3% 向上させ、大幅なパフォーマンス向上を達成できることがわかりました。
この作業のコード実装は、www.github.com/BioMedIA-MBZUAI/MedMerge で入手できます。

要約(オリジナル)

Transfer learning has become a powerful tool to initialize deep learning models to achieve faster convergence and higher performance. This is especially useful in the medical imaging analysis domain, where data scarcity limits possible performance gains for deep learning models. Some advancements have been made in boosting the transfer learning performance gain by merging models starting from the same initialization. However, in the medical imaging analysis domain, there is an opportunity in merging models starting from different initialisations, thus combining the features learnt from different tasks. In this work, we propose MedMerge, a method whereby the weights of different models can be merged, and their features can be effectively utilized to boost performance on a new task. With MedMerge, we learn kernel-level weights that can later be used to merge the models into a single model, even when starting from different initializations. Testing on various medical imaging analysis tasks, we show that our merged model can achieve significant performance gains, with up to 3% improvement on the F1 score. The code implementation of this work will be available at www.github.com/BioMedIA-MBZUAI/MedMerge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google