Towards Generalist Biomedical AI

要約

医療は本質的にマルチモーダルであり、テキスト、画像、ゲノミクスなどにわたる豊富なデータ モダリティを備えています。
このデータを大規模に柔軟にエンコード、統合、解釈するジェネラリスト生物医学人工知能 (AI) システムは、科学的発見から医療提供に至るまで、影響力のあるアプリケーションを可能にする可能性があります。
これらのモデルの開発を可能にするために、私たちはまず新しいマルチモーダル生物医学ベンチマークである MultiMedBench をキュレートします。
MultiMedBench には、医療上の質問応答、マンモグラフィーおよび皮膚科の画像解釈、放射線医学レポートの生成と要約、ゲノム変異の呼び出しなど、14 の多様なタスクが含まれます。
次に、ジェネラリスト生物医学 AI システムの概念実証である Med-PaLM Multimodal (Med-PaLM M) を紹介します。
Med-PaLM M は、臨床言語、画像処理、ゲノミクスなどの生物医学データを同じモデル重みセットで柔軟にエンコードおよび解釈する大規模なマルチモーダル生成モデルです。
Med-PaLM M は、すべての MultiMedBench タスクで最先端のパフォーマンスと同等、またはそれを超えるパフォーマンスに達し、多くの場合、スペシャリスト モデルを大幅に上回ります。
また、新しい医療概念とタスクへのゼロショット一般化、タスク全体にわたるポジティブ転移学習、および創発的なゼロショット医学的推論の例も報告します。
Med-PaLM M の機能と限界をさらに調査するために、モデルで生成された (および人間の) 胸部 X 線レポートの放射線科医の評価を実施し、モデル スケール全体で有望なパフォーマンスを観察しました。
246 件の遡及的胸部 X 線写真を並べてランキングしたところ、臨床医は最大 40.50% の症例で放射線科医が作成したレポートよりも Med-PaLM M レポートを優先していることが示されており、潜在的な臨床的有用性が示唆されています。
これらのモデルを現実のユースケースで検証するにはかなりの作業が必要ですが、私たちの結果はジェネラリスト生物医学 AI システムの開発に向けたマイルストーンを表しています。

要約(オリジナル)

Medicine is inherently multimodal, with rich data modalities spanning text, imaging, genomics, and more. Generalist biomedical artificial intelligence (AI) systems that flexibly encode, integrate, and interpret this data at scale can potentially enable impactful applications ranging from scientific discovery to care delivery. To enable the development of these models, we first curate MultiMedBench, a new multimodal biomedical benchmark. MultiMedBench encompasses 14 diverse tasks such as medical question answering, mammography and dermatology image interpretation, radiology report generation and summarization, and genomic variant calling. We then introduce Med-PaLM Multimodal (Med-PaLM M), our proof of concept for a generalist biomedical AI system. Med-PaLM M is a large multimodal generative model that flexibly encodes and interprets biomedical data including clinical language, imaging, and genomics with the same set of model weights. Med-PaLM M reaches performance competitive with or exceeding the state of the art on all MultiMedBench tasks, often surpassing specialist models by a wide margin. We also report examples of zero-shot generalization to novel medical concepts and tasks, positive transfer learning across tasks, and emergent zero-shot medical reasoning. To further probe the capabilities and limitations of Med-PaLM M, we conduct a radiologist evaluation of model-generated (and human) chest X-ray reports and observe encouraging performance across model scales. In a side-by-side ranking on 246 retrospective chest X-rays, clinicians express a pairwise preference for Med-PaLM M reports over those produced by radiologists in up to 40.50% of cases, suggesting potential clinical utility. While considerable work is needed to validate these models in real-world use cases, our results represent a milestone towards the development of generalist biomedical AI systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google