Towards Generalist Foundation Model for Radiology

要約

本研究では、RadFMと呼ばれる放射線基礎モデルの開発を開始することを目的としています。データセットの構築、モデル設計、徹底的な評価の観点から基礎モデルの構築を検討します。
私たちの貢献は次のように結論付けることができます: (i) 大規模な医療マルチモーダル データセット MedMD を構築します。これは、さまざまなデータ形式、モダリティ、
5,000 を超えるさまざまな疾患をカバーするタスク。
私たちの知る限り、これは 2D スキャンと 3D スキャンの両方を備えた初めての大規模で高品質な医療用視覚言語データセットです。
(ii) では、視覚的に条件付けされた生成事前トレーニングを可能にするアーキテクチャ、つまり、テキスト入力と 2D または 3D 医療スキャンの統合を可能にし、さまざまな放射線タスクに対する応答を生成するアーキテクチャを提案します。
モデルは最初に MedMD で事前トレーニングされ、その後ドメイン固有のデータセットで微調整されました。このデータセットは、RadMD と呼ばれる 300 万個の放射線医学的視覚言語ペアを含む MedMD の放射線医学的クリーン バージョンです。
(iii) では、モダリティ認識、疾患診断、視覚的質問応答、レポート作成、理論的根拠診断を含む 5 つのタスクで構成される新しい評価ベンチマーク RadBench を提案します。これは、実際の臨床問題を処理する際の基礎モデルの能力を包括的に評価することを目的としています。
RadBench では自動評価と人間による評価の両方を実施していますが、どちらの場合でも、RadFM は既存のマルチモーダル基礎モデルを大幅に上回っています。
コード、データ、モデルのチェックポイントはすべて、この分野でのさらなる研究開発を促進するために公開されます。

要約(オリジナル)

In this study, we aim to initiate the development of Radiology Foundation Model, termed as RadFM.We consider the construction of foundational models from the perspectives of dataset construction, model design, and thorough evaluation. Our contribution can be concluded as follows: (i), we construct a large-scale Medical Multi-modal Dataset, MedMD, which consists of 16M 2D and 3D medical scans with high-quality text descriptions or reports across various data formats, modalities, and tasks, covering over 5000 distinct diseases. To the best of our knowledge, this is the first large-scale, high-quality, medical visual-language dataset, with both 2D and 3D scans; (ii ), we propose an architecture that enables visually conditioned generative pre-training, i.e., allowing for integration of text input with 2D or 3D medical scans, and generate responses for diverse radiologic tasks. The model was initially pre-trained on MedMD and subsequently fine-tuned on the domain-specific dataset, which is a radiologic cleaned version of MedMD, containing 3M radiologic visual-language pairs, termed as RadMD; (iii), we propose a new evaluation benchmark, RadBench, that comprises five tasks, including modality recognition, disease diagnosis, visual question answering, report generation and rationale diagnosis, aiming to comprehensively assess the capability of foundation models in handling practical clinical problems. We conduct both automatic and human evaluation on RadBench, in both cases, RadFM significantly outperforms existing multi-modal foundation models. The codes, data, and model checkpoint will all be made publicly available to promote further research and development in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google