Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data

要約

この研究では、RadFM と呼ばれる放射線医学基礎モデルの開発を開始することを目的としています。
基礎モデルの構築を「データセット構築」「モデル設計」「徹底評価」の3つの視点から考えます。
私たちの貢献は次のように結論付けることができます: (i) 大規模な医療マルチモーダル データセット MedMD を構築します。これは、さまざまなデータ形式、モダリティ、
5,000 を超えるさまざまな疾患をカバーするタスク。
私たちの知る限り、これは 2D スキャンと 3D スキャンの両方を備えた初めての大規模で高品質な医療用視覚言語データセットです。
(ii) では、視覚的に条件付けされた生成事前トレーニングを可能にするアーキテクチャ、つまりテキスト入力と 2D または 3D 医療スキャンの統合を可能にし、さまざまな放射線タスクに対する応答を生成するアーキテクチャを提案します。
モデルは最初に MedMD で事前トレーニングされ、その後ドメイン固有のデータセットで微調整されました。このデータセットは、RadMD と呼ばれる 300 万個の放射線医学的視覚言語ペアを含む MedMD の放射線医学的クリーン バージョンです。
(iii) では、モダリティ認識、疾患診断、視覚的質問応答、レポート作成、理論的根拠診断を含む 5 つのタスクで構成される新しい評価ベンチマーク RadBench を提案します。これは、実際の臨床問題を処理する際の基礎モデルの能力を包括的に評価することを目的としています。
当社は RadBench で自動評価と人間による評価の両方を実施しています。どちらの場合でも、RadFM は、Openflamingo、MedFlamingo、MedVInT、GPT-4V など、公的にアクセス可能な既存のマルチモーダル基盤モデルよりも優れたパフォーマンスを発揮します。
さらに、RadFM をさまざまな公開ベンチマークに適応させ、さまざまなデータセットで既存の SOTA を上回ります。
すべてのコード、データ、モデル チェックポイントは、この分野でのさらなる研究開発を促進するためにすべて公開されます。

要約(オリジナル)

In this study, we aim to initiate the development of Radiology Foundation Model, termed as RadFM. We consider the construction of foundational models from three perspectives, namely, dataset construction, model design, and thorough evaluation. Our contribution can be concluded as follows: (i), we construct a large-scale Medical Multi-modal Dataset, MedMD, which consists of 16M 2D and 3D medical scans with high-quality text descriptions or reports across various data formats, modalities, and tasks, covering over 5000 distinct diseases. To the best of our knowledge, this is the first large-scale, high-quality, medical visual-language dataset, with both 2D and 3D scans; (ii), we propose an architecture that enables visually conditioned generative pre-training, i.e., allowing for integration of text input with 2D or 3D medical scans, and generate responses for diverse radiologic tasks. The model was initially pre-trained on MedMD and subsequently fine-tuned on the domain-specific dataset, which is a radiologic cleaned version of MedMD, containing 3M radiologic visual-language pairs, termed as RadMD; (iii), we propose a new evaluation benchmark, RadBench, that comprises five tasks, including modality recognition, disease diagnosis, visual question answering, report generation and rationale diagnosis, aiming to comprehensively assess the capability of foundation models in handling practical clinical problems. We conduct both automatic and human evaluation on RadBench, in both cases, RadFM outperforms existing multi-modal foundation models, that are publicaly accessible, including Openflamingo, MedFlamingo, MedVInT and GPT-4V. Additionally, we also adapt RadFM for different public benchmarks, surpassing existing SOTAs on diverse datasets. All codes, data, and model checkpoint will all be made publicly available to promote further research and development in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google