Leveraging Foundation Models for Content-Based Medical Image Retrieval in Radiology

要約

コンテンツベースの画像検索 (CBIR) は、放射線医学における診断支援と医学研究を大幅に改善する可能性があります。
現在の CBIR システムは、特定の病理に特化しているため限界に直面しており、その有用性が制限されています。
これに応えて、私たちは、コンテンツベースの医用画像検索のための強力で汎用性の高い既製の特徴抽出器として、ビジョン基盤モデルを使用することを提案します。
4 つのモダリティと 161 の病理にわたる 160 万枚の 2D 放射線画像の包括的なデータセットでこれらのモデルをベンチマークすることにより、弱く教師されたモデルが優れていると特定し、最大 0.594 の P@1 を達成しました。
このパフォーマンスは専用モデルに匹敵するだけでなく、微調整を必要とせずに同等の性能を発揮します。
私たちの分析では、病理学的構造と解剖学的構造の検索における課題をさらに調査し、病理学的特徴の正確な検索には大きな困難があることが示されています。
これらの課題にもかかわらず、私たちの研究は、放射線医学におけるCBIRの基礎モデルの膨大な可能性を強調し、特定の調整を必要としない汎用性の高い汎用医療画像検索システムへの移行を提案しています。

要約(オリジナル)

Content-based image retrieval (CBIR) has the potential to significantly improve diagnostic aid and medical research in radiology. Current CBIR systems face limitations due to their specialization to certain pathologies, limiting their utility. In response, we propose using vision foundation models as powerful and versatile off-the-shelf feature extractors for content-based medical image retrieval. By benchmarking these models on a comprehensive dataset of 1.6 million 2D radiological images spanning four modalities and 161 pathologies, we identify weakly-supervised models as superior, achieving a P@1 of up to 0.594. This performance not only competes with a specialized model but does so without the need for fine-tuning. Our analysis further explores the challenges in retrieving pathological versus anatomical structures, indicating that accurate retrieval of pathological features presents greater difficulty. Despite these challenges, our research underscores the vast potential of foundation models for CBIR in radiology, proposing a shift towards versatile, general-purpose medical image retrieval systems that do not require specific tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google