Enhancing Network Initialization for Medical AI Models Using Large-Scale, Unlabeled Natural Images

要約

ImageNet のような事前トレーニング データセットは、医療画像分析のゴールド スタンダードになっています。
しかし、ラベルのないデータを活用して堅牢な特徴を学習する自己教師あり学習 (SSL) の出現により、集中的なラベル付けプロセスをバイパスする機会が生まれました。
この研究では、非医療画像の事前トレーニング用の SSL が胸部 X 線写真に適用できるかどうか、また非医療画像および医療画像の教師付き事前トレーニングとどのように比較できるかを調査しました。
ビジョントランスフォーマーを利用し、(i) 自然画像 (DINOv2) での SSL 事前トレーニング、(ii) 自然画像 (ImageNet データセット) での SL 事前トレーニング、および (iii) 胸部での SL 事前トレーニングに基づいて重みを初期化しました。
MIMIC-CXR データベースからの X 線写真。
私たちは、6 つの大規模な世界的データセットからの 800,000 枚を超える胸部 X 線写真でアプローチをテストし、20 を超える異なる画像所見を診断しました。
厳選された画像に対する SSL 事前トレーニングは、ImageNet ベースの事前トレーニング (すべてのデータセットで P<0.001) を上回っただけでなく、場合によっては MIMIC-CXR データセットの SL も上回りました。 私たちの調査結果は、医療画像における人工知能 (AI) の診断精度を向上させるには、特に SSL を使用した適切な事前トレーニング戦略の選択が極めて重要である可能性があることを示唆しています。 胸部 X 線写真分析における SSL の有望性を実証することで、医療画像におけるより効率的で正確な AI モデルへの変革的な移行を強調します。

要約(オリジナル)

Pre-training datasets, like ImageNet, have become the gold standard in medical image analysis. However, the emergence of self-supervised learning (SSL), which leverages unlabeled data to learn robust features, presents an opportunity to bypass the intensive labeling process. In this study, we explored if SSL for pre-training on non-medical images can be applied to chest radiographs and how it compares to supervised pre-training on non-medical images and on medical images. We utilized a vision transformer and initialized its weights based on (i) SSL pre-training on natural images (DINOv2), (ii) SL pre-training on natural images (ImageNet dataset), and (iii) SL pre-training on chest radiographs from the MIMIC-CXR database. We tested our approach on over 800,000 chest radiographs from six large global datasets, diagnosing more than 20 different imaging findings. Our SSL pre-training on curated images not only outperformed ImageNet-based pre-training (P<0.001 for all datasets) but, in certain cases, also exceeded SL on the MIMIC-CXR dataset. Our findings suggest that selecting the right pre-training strategy, especially with SSL, can be pivotal for improving artificial intelligence (AI)'s diagnostic accuracy in medical imaging. By demonstrating the promise of SSL in chest radiograph analysis, we underline a transformative shift towards more efficient and accurate AI models in medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google