Self-Supervised Curricular Deep Learning for Chest X-Ray Image Classification

要約

深層学習技術は、胸部 X 線画像などの医用画像データから診断支援システムを構築する高い可能性をすでに示しています。
ただし、医療分野でのラベル付きデータの不足は、他の画像ドメインのアプリケーションとのパフォーマンスのギャップを狭めるための 1 つの重要な障害を表しています。
この作業では、Covid-19 患者の胸部 X 線画像で肺炎を認識するための完全に教師ありのトレーニング体制に関して、カリキュラムの自己教師あり学習 (SSL) 事前トレーニング スキームの利点を調査します。
ラベル付けされていないデータを活用するカリキュラムの SSL 事前トレーニングは、ゼロからトレーニングされたモデルや ImageNet で事前トレーニングされたモデルよりも優れていることを示しており、大量のラベル付けされていないデータセットでの SSL 事前トレーニングによってパフォーマンスが向上する可能性があることを示しています。
最後に、最高性能の SSL 事前トレーニング済みモデルが肺領域でより高い注目度を示し、以前の研究で特定されたトレーニング データセットの外部交絡因子の可能性に対してより堅牢なモデルを具現化することを示します。

要約(オリジナル)

Deep learning technologies have already demonstrated a high potential to build diagnosis support systems from medical imaging data, such as Chest X-Ray images. However, the shortage of labeled data in the medical field represents one key obstacle to narrow down the performance gap with respect to applications in other image domains. In this work, we investigate the benefits of a curricular Self-Supervised Learning (SSL) pretraining scheme with respect to fully-supervised training regimes for pneumonia recognition on Chest X-Ray images of Covid-19 patients. We show that curricular SSL pretraining, which leverages unlabeled data, outperforms models trained from scratch, or pretrained on ImageNet, indicating the potential of performance gains by SSL pretraining on massive unlabeled datasets. Finally, we demonstrate that top-performing SSLpretrained models show a higher degree of attention in the lung regions, embodying models that may be more robust to possible external confounding factors in the training datasets, identified by previous works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google