What Makes Transfer Learning Work For Medical Images: Feature Reuse & Other Factors

要約

移転学習は、あるドメインから別のドメインへ知識を移転するための標準的な手法である。医用画像分野への応用では、ドメイン間のタスクや画像特性の違いにもかかわらず、ImageNetからの転送が事実上のアプローチとなっている。しかし、医療分野への転移学習が有効かどうか、また、どの程度有効なのかは不明である。このような背景のもとで、長年にわたって用いられてきた「転送元ドメインの特徴が再利用される」という前提に、最近疑問が投げかけられている。我々は、いくつかの医用画像ベンチマークデータセットに対する一連の実験を通して、転移学習、データサイズ、モデルの容量と帰納的バイアス、そしてソースドメインとターゲットドメインの距離の関係を探る。その結果、ほとんどの場合、転移学習は有益であることが示唆され、その成功において特徴再利用が果たす重要な役割について特徴付けることができる。

要約(オリジナル)

Transfer learning is a standard technique to transfer knowledge from one domain to another. For applications in medical imaging, transfer from ImageNet has become the de-facto approach, despite differences in the tasks and image characteristics between the domains. However, it is unclear what factors determine whether – and to what extent – transfer learning to the medical domain is useful. The long-standing assumption that features from the source domain get reused has recently been called into question. Through a series of experiments on several medical image benchmark datasets, we explore the relationship between transfer learning, data size, the capacity and inductive bias of the model, as well as the distance between the source and target domain. Our findings suggest that transfer learning is beneficial in most cases, and we characterize the important role feature reuse plays in its success.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL