Content-Based Image Retrieval for Multi-Class Volumetric Radiology Images: A Benchmark Study

要約

コンテンツベースの画像検索 (CBIR) は自然画像検索において広く研究されてきましたが、医用画像への応用には、主に医用画像の 3D 特性により継続的な課題が存在します。
最近の研究では、放射線画像検索のコンテキストにおいて、CBIR 用の事前トレーニング済み視覚埋め込みの使用の可能性が示されています。
しかし、3D ボリューム医療画像を検索するためのベンチマークがまだ不足しており、医療画像において提案されている CBIR アプローチの効率を客観的に評価および比較する能力が妨げられています。
この研究では、以前の研究を拡張し、詳細な多臓器アノテーションを備えた TotalSegmentator データセット (TS) を使用して、領域ベースの多臓器検索のベンチマークを確立します。
ボリュームおよび領域レベルで、29 の粗い解剖学的構造と 104 の詳細な解剖学的構造について、医療画像上の事前トレーニング済み教師ありモデルから派生したエンベディングと、非医療画像上の事前トレーニング済み教師なしモデルから派生したエンベディングをベンチマークします。
画像検索にはテキストマッチングにヒントを得た後期インタラクション再ランキング手法を採用し、ボリュームと領域の検索のために提案された元の手法と比較して、幅広いサイズ範囲の多様な解剖学的領域に対して1.0の検索再現率を達成しました。
この論文で提示された調査結果と方法論は、医療画像処理における CBIR アプローチの開発と評価に重要な洞察とベンチマークを提供します。

要約(オリジナル)

While content-based image retrieval (CBIR) has been extensively studied in natural image retrieval, its application to medical images presents ongoing challenges, primarily due to the 3D nature of medical images. Recent studies have shown the potential use of pre-trained vision embeddings for CBIR in the context of radiology image retrieval. However, a benchmark for the retrieval of 3D volumetric medical images is still lacking, hindering the ability to objectively evaluate and compare the efficiency of proposed CBIR approaches in medical imaging. In this study, we extend previous work and establish a benchmark for region-based and multi-organ retrieval using the TotalSegmentator dataset (TS) with detailed multi-organ annotations. We benchmark embeddings derived from pre-trained supervised models on medical images against embeddings derived from pre-trained unsupervised models on non-medical images for 29 coarse and 104 detailed anatomical structures in volume and region levels. We adopt a late interaction re-ranking method inspired by text matching for image retrieval, comparing it against the original method proposed for volume and region retrieval achieving retrieval recall of 1.0 for diverse anatomical regions with a wide size range. The findings and methodologies presented in this paper provide essential insights and benchmarks for the development and evaluation of CBIR approaches in the context of medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google