Why does my medical AI look at pictures of birds? Exploring the efficacy of transfer learning across domain boundaries

要約

Imagenetが前orainingの万能薬として扱われることは、オープンな秘密です。
特に医療機械学習では、ゼロからトレーニングされていないモデルは、多くの場合、Imagenet-Preatreaded Modelsに基づいて微調整されます。
下流タスクのドメインからのデータを事前に削除することを、代わりにほとんど常に優先する必要があると仮定します。
1,200万を超えるコンピューター断層撮影（CT）画像スライスを含むデータセットであるRadnet-12Mを活用して、医学的および自然な画像に対する自己監視前の事前採取の有効性を調査します。
私たちの実験は、ドメイン内およびクロスドメインの移転シナリオ、さまざまなデータスケール、微調整と線形評価、および特徴空間分析をカバーしています。
ドメイン内移動は、クロスドメインの移動と比較して比較され、同等または改善されたパフォーマンス（実験に応じて、ラドネット前削除を使用して0.44％-2.07％のパフォーマンスの増加）を達成し、ドメイン境界関連の一般化ギャップと存在を実証することがわかります。
ドメイン固有の学習機能。

要約(オリジナル)

It is an open secret that ImageNet is treated as the panacea of pretraining. Particularly in medical machine learning, models not trained from scratch are often finetuned based on ImageNet-pretrained models. We posit that pretraining on data from the domain of the downstream task should almost always be preferred instead. We leverage RadNet-12M, a dataset containing more than 12 million computed tomography (CT) image slices, to explore the efficacy of self-supervised pretraining on medical and natural images. Our experiments cover intra- and cross-domain transfer scenarios, varying data scales, finetuning vs. linear evaluation, and feature space analysis. We observe that intra-domain transfer compares favorably to cross-domain transfer, achieving comparable or improved performance (0.44% – 2.07% performance increase using RadNet pretraining, depending on the experiment) and demonstrate the existence of a domain boundary-related generalization gap and domain-specific learned features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google