RadTex: Learning Efficient Radiograph Representations from Text Reports

要約

ディープラーニングを用いた胸部X線写真の自動解析は、患者の疾患の臨床診断を強化するための非常に大きな可能性を秘めている。しかし、深層学習モデルは一般的に、高い性能を達成するために大量のアノテーションデータを必要とします — 医療ドメイン適応の障害となることがよくあります。本論文では、限られたラベル付きデータ（1000例未満）で医療画像の分類性能を向上させるために、放射線レポートを利用したデータ効率の良い学習フレームワークを構築します。具体的には、より少ない例数で学習する高品質な医用画像表現を学習するために、画像キャプションの前学習を検討する。コンボリューショナルエンコーダとトランスフォーマーデコーダの共同事前学習後、学習したエンコーダを様々な分類タスクに転送する。9つの病態を平均化した結果、ラベル付き学習データが少ない場合、我々のモデルはImageNet教師あり学習や領域内教師あり学習よりも高い分類性能を達成することが分かった。

要約(オリジナル)

Automated analysis of chest radiography using deep learning has tremendous potential to enhance the clinical diagnosis of diseases in patients. However, deep learning models typically require large amounts of annotated data to achieve high performance — often an obstacle to medical domain adaptation. In this paper, we build a data-efficient learning framework that utilizes radiology reports to improve medical image classification performance with limited labeled data (fewer than 1000 examples). Specifically, we examine image-captioning pretraining to learn high-quality medical image representations that train on fewer examples. Following joint pretraining of a convolutional encoder and transformer decoder, we transfer the learned encoder to various classification tasks. Averaged over 9 pathologies, we find that our model achieves higher classification performance than ImageNet-supervised and in-domain supervised pretraining when labeled training data is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL