MUSCLE: Multi-task Self-supervised Continual Learning to Pre-train Deep Models for X-ray Images of Multiple Body Parts

要約

自己教師付き学習（SSL）アルゴリズムは、ディープモデルの事前学習に広く用いられているが、SSL事前学習モデルを用いたX線画像解析の表現学習を改善するための取り組み[11]はほとんど行われていない。本研究では、頭部、肺、骨などの複数の身体部位から収集されたX線画像を用いて、分類やセグメンテーションなどの複数の医用画像タスクのための、新しい自己教師付き事前学習パイプライン、すなわちマルチタスク自己スーパービジョン連続学習（MUSCLE）を研究する。具体的には、MUSCLEは、MoCoベースの表現学習のために複数の身体部位から収集されたX線画像を集約し、さらに様々なX線解析タスクを共同で処理するためのバックボーンを事前に訓練するために、よく設計された継続学習（CL）手順を採用する。MUSCLEのマルチタスク／データセット学習におけるデータの不均一性、過剰適合、壊滅的忘却の問題を解決するために、画像の前処理、学習スケジュール、正則化に関するある種の戦略が用いられている。肺炎分類、骨格異常分類、肺セグメンテーション、結核検出を含む様々なタスクを持つ9つの実世界のX線データセットを用いてMUSCLEを評価する。他の事前学習済みモデル[7]との比較により、自己教師型マルチタスク／データセット継続的事前学習がX線画像解析の性能を向上させるという概念実証を確認した。

要約(オリジナル)

While self-supervised learning (SSL) algorithms have been widely used to pre-train deep models, few efforts [11] have been done to improve representation learning of X-ray image analysis with SSL pre-trained models. In this work, we study a novel self-supervised pre-training pipeline, namely Multi-task Self-super-vised Continual Learning (MUSCLE), for multiple medical imaging tasks, such as classification and segmentation, using X-ray images collected from multiple body parts, including heads, lungs, and bones. Specifically, MUSCLE aggregates X-rays collected from multiple body parts for MoCo-based representation learning, and adopts a well-designed continual learning (CL) procedure to further pre-train the backbone subject various X-ray analysis tasks jointly. Certain strategies for image pre-processing, learning schedules, and regularization have been used to solve data heterogeneity, overfitting, and catastrophic forgetting problems for multi-task/dataset learning in MUSCLE.We evaluate MUSCLE using 9 real-world X-ray datasets with various tasks, including pneumonia classification, skeletal abnormality classification, lung segmentation, and tuberculosis (TB) detection. Comparisons against other pre-trained models [7] confirm the proof-of-concept that self-supervised multi-task/dataset continual pre-training could boost the performance of X-ray image analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL