SS-CXR: Multitask Representation Learning using Self Supervised Pre-training from Chest X-Rays

要約

胸部 X 線 (CXR) は、肺疾患の診断と予後のために広く使用されている画像診断法です。
画像解析タスクはさまざまです。
例としては、病理学の検出と肺のセグメンテーションがあります。
特定のタスクのために機械学習アルゴリズムを開発する作業は数多くあります。
最近の重要な例は、CXR データを使用したコロナウイルス病 (covid-19) の検出です。
ただし、教師あり学習に基づく従来の診断ツールの設計方法には、トレーニング データの注釈を提供する必要性があり、これはより良い臨床転帰のために高品質である必要があります。
ここでは、CXR からの一般的な表現がグループ マスクされた自己教師ありフレームワークを使用して学習される、新しい自己教師ありパラダイムという代替ソリューションを提案します。
事前トレーニング済みのモデルは、covid-19、肺炎の検出、一般的な健康診断などのドメイン固有のタスク用に微調整されます。
同じ事前トレーニングを肺セグメンテーション タスクに使用できることを示します。
提案されたパラダイムは、事前トレーニングの成功を示す複数のダウンストリーム タスクで堅牢なパフォーマンスを示します。
さらに、テスト時間中に大幅なドリフトを伴うデータに対する事前トレーニング済みモデルのパフォーマンスは、より優れた汎用表現の学習を証明しています。
これらの方法は、独自の小規模な小児科データ セットでの covid-19 検出によってさらに検証されます。
精度のパフォーマンスの向上 (~25\%) は、監視された変換ベースの方法と比較した場合に顕著です。
これにより、提案されたフレームワークと事前トレーニング戦略の強度と信頼性に信憑性が追加されます。

要約(オリジナル)

Chest X-rays (CXRs) are a widely used imaging modality for the diagnosis and prognosis of lung disease. The image analysis tasks vary. Examples include pathology detection and lung segmentation. There is a large body of work where machine learning algorithms are developed for specific tasks. A significant recent example is Coronavirus disease (covid-19) detection using CXR data. However, the traditional diagnostic tool design methods based on supervised learning are burdened by the need to provide training data annotation, which should be of good quality for better clinical outcomes. Here, we propose an alternative solution, a new self-supervised paradigm, where a general representation from CXRs is learned using a group-masked self-supervised framework. The pre-trained model is then fine-tuned for domain-specific tasks such as covid-19, pneumonia detection, and general health screening. We show that the same pre-training can be used for the lung segmentation task. Our proposed paradigm shows robust performance in multiple downstream tasks which demonstrates the success of the pre-training. Moreover, the performance of the pre-trained models on data with significant drift during test time proves the learning of a better generic representation. The methods are further validated by covid-19 detection in a unique small-scale pediatric data set. The performance gain in accuracy (~25\%) is significant when compared to a supervised transformer-based method. This adds credence to the strength and reliability of our proposed framework and pre-training strategy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google