A foundation model utilizing chest CT volumes and radiology reports for supervised-level zero-shot detection of abnormalities

要約

3D 医用画像処理における計算研究における大きな課題は、包括的なデータセットが不足していることです。
この問題に対処するために、私たちの研究では、画像とテキストレポートを組み合わせた初の 3D 医療画像データセットである CT-RATE を導入しました。
CT-RATE は、21,304 人の固有の患者からの 25,692 の非造影胸部 CT ボリュームと、対応する放射線医学テキスト レポートから構成され、さまざまな再構成を通じて 50,188 に拡張されました。
CT-RATE を活用して、CT に焦点を当てた対照的な言語と画像の事前トレーニング フレームワークである CT-CLIP を開発しました。
CT-CLIP は多用途の自己教師ありモデルとして、幅広い用途向けに設計されており、タスク固有のトレーニングは必要ありません。
驚くべきことに、CT-CLIP は、すべての主要な指標にわたる複数の異常検出において、完全に監視された最先端の方法を上回っており、手動による注釈の必要性が排除されています。
また、画像またはテキストクエリを使用するかどうかにかかわらず、症例検索におけるその有用性を実証し、それによって知識の普及を促進します。
CT-RATE と CT-CLIP のオープンソース リリースは、医療 AI の大幅な進歩を示し、3D 画像解析を強化し、医療分野のイノベーションを促進します。

要約(オリジナル)

A major challenge in computational research in 3D medical imaging is the lack of comprehensive datasets. Addressing this issue, our study introduces CT-RATE, the first 3D medical imaging dataset that pairs images with textual reports. CT-RATE consists of 25,692 non-contrast chest CT volumes, expanded to 50,188 through various reconstructions, from 21,304 unique patients, along with corresponding radiology text reports. Leveraging CT-RATE, we developed CT-CLIP, a CT-focused contrastive language-image pre-training framework. As a versatile, self-supervised model, CT-CLIP is designed for broad application and does not require task-specific training. Remarkably, CT-CLIP outperforms state-of-the-art, fully supervised methods in multi-abnormality detection across all key metrics, thus eliminating the need for manual annotation. We also demonstrate its utility in case retrieval, whether using imagery or textual queries, thereby advancing knowledge dissemination. The open-source release of CT-RATE and CT-CLIP marks a significant advancement in medical AI, enhancing 3D imaging analysis and fostering innovation in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google