Multi-View and Multi-Scale Alignment for Contrastive Language-Image Pre-training in Mammography

要約

対照的な言語イメージ前訓練（CLIP）は、医療画像分析に強い可能性を示していますが、実質的なデータと計算リソースが必要です。
これらの制限により、医療イメージングの既存のクリップアプリケーションは、主に豊富な画像レポートデータを利用できる胸部X線などのモダリティに焦点を当てており、他の多くの重要なモダリティが採用されていないままになります。
ここでは、マンモグラフィへのフルクリップモデルの最初の適応の1つを提案します。これは、ラベル付きのデータ不足、関心のある小さな領域を持つ高解像度画像、およびクラスごとの不均衡による重要な課題を提示します。
最初に、マルチビューの性質を活用するマンモグラフィの専門的な監督フレームワークを開発します。
さらに、高解像度画像の詳細な機能によりよく焦点を当てるように、対称ローカルアライメントモジュールを設計します。
最後に、データの制限に対処するために医学的知識で事前に訓練された大規模な言語モデルのためのパラメーター効率の高い微調整アプローチを組み込みます。
当社のマルチビューおよびマルチスケールアライメント（MAMA）メソッドは、2つの大規模な現実世界マンモグラフィデータセットの3つの異なるタスクの最先端のベースラインを上回り、RSNA-MammoとRSNA-Mammoを超えており、最大のベースラインと比較してモデルサイズは52％しかありません。
コードはhttps://github.com/xypb/mamaで入手できます

要約(オリジナル)

Contrastive Language-Image Pre-training (CLIP) demonstrates strong potential in medical image analysis but requires substantial data and computational resources. Due to these restrictions, existing CLIP applications in medical imaging focus mainly on modalities like chest X-rays that have abundant image-report data available, leaving many other important modalities underexplored. Here, we propose one of the first adaptations of the full CLIP model to mammography, which presents significant challenges due to labeled data scarcity, high-resolution images with small regions of interest, and class-wise imbalance. We first develop a specialized supervision framework for mammography that leverages its multi-view nature. Furthermore, we design a symmetric local alignment module to better focus on detailed features in high-resolution images. Lastly, we incorporate a parameter-efficient fine-tuning approach for large language models pre-trained with medical knowledge to address data limitations. Our multi-view and multi-scale alignment (MaMA) method outperforms state-of-the-art baselines for three different tasks on two large real-world mammography datasets, EMBED and RSNA-Mammo, with only 52% model size compared with the largest baseline. The code is available at https://github.com/XYPB/MaMA

arxiv情報

提供元, 利用サービス

arxiv.jp, Google