RadGenome-Chest CT: A Grounded Vision-Language Dataset for Chest CT Analysis

要約

ジェネラリスト基盤モデルの開発は、最近、医療用 AI (AI4Medicine) 分野の研究者の間で大きな注目を集めています。
これらのモデルの開発における極めて重要な洞察は、データセットのスケーリングへの依存であり、さまざまな画像モダリティにわたる多様な監視信号を組み込んだオープンソースの医用画像データセットの開発要件が強調されます。
この論文では、CT-RATE に基づいた包括的で大規模な領域ガイド付き 3D 胸部 CT 読影データセットである RadGenome-Chest CT を紹介します。
具体的には、最新の強力なユニバーサル セグメンテーションと大規模言語モデルを活用して、元のデータセット (25,692 を超える非造影 3D 胸部 CT ボリュームと 20,000 人の患者からのレポート) を次の側面から拡張します。 (i) 197 をカバーする臓器レベルのセグメンテーション マスク
カテゴリは、解釈のための中間推論の視覚的な手がかりを提供します。
(ii) 665 K の多粒度の根拠のあるレポート。レポートの各文は、セグメンテーション マスクの形式で CT ボリュームの対応する解剖学的領域にリンクされています。
(iii) 130 万の接地された VQA ペア。質問と回答はすべて参照セグメンテーション マスクにリンクされており、モデルが視覚的な証拠をテキストの説明と関連付けることができます。
検証セット内のすべての根拠のあるレポートと VQA ペアは、データセットの品質を確保するために手動検証を経ています。
RadGenome-Chest CT は、指定されたセグメンテーション領域に基づいてテキストを生成するトレーニングを行うことで、マルチモーダルな医療基礎モデルの開発を大幅に前進させることができると考えています。これは、以前の関連データセットでは達成できませんでした。
この分野でのさらなる研究開発を促進するために、すべてのセグメンテーション マスク、根拠のあるレポート、および VQA ペアをリリースします。

要約(オリジナル)

Developing generalist foundation model has recently attracted tremendous attention among researchers in the field of AI for Medicine (AI4Medicine). A pivotal insight in developing these models is their reliance on dataset scaling, which emphasizes the requirements on developing open-source medical image datasets that incorporate diverse supervision signals across various imaging modalities. In this paper, we introduce RadGenome-Chest CT, a comprehensive, large-scale, region-guided 3D chest CT interpretation dataset based on CT-RATE. Specifically, we leverage the latest powerful universal segmentation and large language models, to extend the original datasets (over 25,692 non-contrast 3D chest CT volume and reports from 20,000 patients) from the following aspects: (i) organ-level segmentation masks covering 197 categories, which provide intermediate reasoning visual clues for interpretation; (ii) 665 K multi-granularity grounded reports, where each sentence of the report is linked to the corresponding anatomical region of CT volume in the form of a segmentation mask; (iii) 1.3 M grounded VQA pairs, where questions and answers are all linked with reference segmentation masks, enabling models to associate visual evidence with textual explanations. All grounded reports and VQA pairs in the validation set have gone through manual verification to ensure dataset quality. We believe that RadGenome-Chest CT can significantly advance the development of multimodal medical foundation models, by training to generate texts based on given segmentation regions, which is unattainable with previous relevant datasets. We will release all segmentation masks, grounded reports, and VQA pairs to facilitate further research and development in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google