RadIR: A Scalable Framework for Multi-Grained Medical Image Retrieval via Radiology Report Mining

要約

高度な医療イメージング検索システムの開発は、異なる医療コンテキストにわたる「同様の画像」のさまざまな定義のために困難です。
この課題は、大規模で高品質の医療画像検索データセットとベンチマークがないことによって悪化します。
この論文では、密な放射線レポートを活用して、スケーラブルで完全に自動的な方法で複数の粒度での画像ごとの類似性の順序を定義する新しい方法論を提案します。
このアプローチを使用して、2つの包括的な医療イメージング検索データセットを作成します。CTレイ用のMIMIC-IRとCTスキャン用のCtrate-IRを作成し、多様な解剖学的構造を条件付けられた詳細な画像ランキングアノテーションを提供します。
さらに、Radir-CXRとModel-ChestCTの2つの検索システムを開発し、従来の画像イメージと画像レポートの検索タスクで優れたパフォーマンスを実証します。
また、これらのシステムは、テキストで説明されている特定の解剖学的構造に条件付けられた柔軟で効果的な画像検索を可能にし、78のメトリックのうち77で最先端の結果を達成します。

要約(オリジナル)

Developing advanced medical imaging retrieval systems is challenging due to the varying definitions of `similar images’ across different medical contexts. This challenge is compounded by the lack of large-scale, high-quality medical imaging retrieval datasets and benchmarks. In this paper, we propose a novel methodology that leverages dense radiology reports to define image-wise similarity ordering at multiple granularities in a scalable and fully automatic manner. Using this approach, we construct two comprehensive medical imaging retrieval datasets: MIMIC-IR for Chest X-rays and CTRATE-IR for CT scans, providing detailed image-image ranking annotations conditioned on diverse anatomical structures. Furthermore, we develop two retrieval systems, RadIR-CXR and model-ChestCT, which demonstrate superior performance in traditional image-image and image-report retrieval tasks. These systems also enable flexible, effective image retrieval conditioned on specific anatomical structures described in text, achieving state-of-the-art results on 77 out of 78 metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google