Incremental Learning Meets Transfer Learning: Application to Multi-site Prostate MRI Segmentation

要約

最近、医療画像セグメンテーションタスク用に多くの医療データセットが作成されました。これらを使用して、（1）これらすべてのデータセットでパフォーマンスが向上し、（2）一般化が良好で転送が向上する単一のモデルを順次トレーニングできるかどうか疑問に思うのは自然なことです。
不明なターゲットサイトドメインに。
以前の作業では、マルチサイトデータセットで1つのモデルを共同でトレーニングすることでこの目標を達成しました。これは、平均して競争力のあるパフォーマンスを実現しますが、そのような方法は、すべてのトレーニングデータの可用性に関する仮定に依存しているため、実際の展開での有効性が制限されます。
この論文では、インクリメンタルトランスファー学習（ITL）と呼ばれる新しいマルチサイトセグメンテーションフレームワークを提案します。これは、マルチサイトデータセットからエンドツーエンドのシーケンシャルな方法でモデルを学習します。
具体的には、「インクリメンタル」とは、順次構築されるデータセットのトレーニングを指し、「転送」は、各データセットへの埋め込み機能の線形結合からの有用な情報を活用することによって実現されます。
さらに、ITLフレームワークを紹介します。このフレームワークでは、事前にトレーニングされた重みと最大2つのセグメンテーションデコーダーヘッドを備えたサイトに依存しないエンコーダーを含むネットワークをトレーニングします。
また、ターゲットドメインで適切に一般化するために、新しいサイトレベルの増分損失を設計します。
次に、ITLトレーニングスキームを活用することで、段階的な学習における困難な壊滅的な忘却の問題を軽減できることを初めて示します。
5つの挑戦的なベンチマークデータセットを使用して実験を行い、インクリメンタルトランスファー学習アプローチの有効性を検証します。
私たちのアプローチは、計算リソースとドメイン固有の専門知識について最小限の仮定を行うため、マルチサイト医療画像セグメンテーションの強力な出発点を構成します。

要約(オリジナル)

Many medical datasets have recently been created for medical image segmentation tasks, and it is natural to question whether we can use them to sequentially train a single model that (1) performs better on all these datasets, and (2) generalizes well and transfers better to the unknown target site domain. Prior works have achieved this goal by jointly training one model on multi-site datasets, which achieve competitive performance on average but such methods rely on the assumption about the availability of all training data, thus limiting its effectiveness in practical deployment. In this paper, we propose a novel multi-site segmentation framework called incremental-transfer learning (ITL), which learns a model from multi-site datasets in an end-to-end sequential fashion. Specifically, ‘incremental’ refers to training sequentially constructed datasets, and ‘transfer’ is achieved by leveraging useful information from the linear combination of embedding features on each dataset. In addition, we introduce our ITL framework, where we train the network including a site-agnostic encoder with pre-trained weights and at most two segmentation decoder heads. We also design a novel site-level incremental loss in order to generalize well on the target domain. Second, we show for the first time that leveraging our ITL training scheme is able to alleviate challenging catastrophic forgetting problems in incremental learning. We conduct experiments using five challenging benchmark datasets to validate the effectiveness of our incremental-transfer learning approach. Our approach makes minimal assumptions on computation resources and domain-specific expertise, and hence constitutes a strong starting point in multi-site medical image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google