GSCo: Towards Generalizable AI in Medicine via Generalist-Specialist Collaboration

要約

ジェネラリスト基盤モデル (GFM) は、多様なタスクやモダリティを効果的に一般化する優れた機能と柔軟性で知られています。
医療の分野では、GFM は広範な固有の知識と、指示に従って、コンテキスト内で学習する習熟度に基づいて優れた一般化性を発揮しますが、専門家モデルは専門分野の知識により精度に優れています。
この研究では、より広範囲での正確な医用画像分析を可能にするために、GFM と専門家モデルの間の相乗効果を初めて調査します。
具体的には、GFM とスペシャリストの構築と、下流タスクでの協調推論の 2 段階からなる協力フレームワークである Generalist-Specialist Collaboration (GSCo) を提案します。
構築段階では、医療向けにカスタマイズされた最大のオープンソース GFM である MedDr を開発し、優れた指示に従い、コンテキスト内の学習機能を示します。
一方、一連の軽量スペシャリストは、低い計算コストの下流タスク用に作成されています。
協調推論の段階では、専門家の混合診断と検索拡張診断という 2 つの協調メカニズムを導入し、スペシャリストの専門分野の専門知識とともにジェネラリストのコンテキスト内学習能力を活用します。
包括的な評価を行うために、28 のデータセットと約 250,000 枚の画像を特徴とする大規模なベンチマークを作成しました。
広範な結果は、MedDr が下流データセットにおいて常に最先端の GFM を上回るパフォーマンスを示していることを示しています。
さらに、GSCo は、すべての領域外の疾患診断データセットにわたって GFM と専門家の両方を上回っています。
これらの発見は、GFM の適用における重要なパラダイム シフトを示しており、特定のタスクに対する個別のモデルから GFM と専門家の間の協力的なアプローチに移行し、それによって医療における汎用化可能な AI のフロンティアを前進させています。

要約(オリジナル)

Generalist foundation models (GFMs) are renowned for their exceptional capability and flexibility in effectively generalizing across diverse tasks and modalities. In the field of medicine, while GFMs exhibit superior generalizability based on their extensive intrinsic knowledge as well as proficiency in instruction following and in-context learning, specialist models excel in precision due to their domain knowledge. In this work, for the first time, we explore the synergy between the GFM and specialist models, to enable precise medical image analysis on a broader scope. Specifically, we propose a cooperative framework, Generalist-Specialist Collaboration (GSCo), which consists of two stages, namely the construction of GFM and specialists, and collaborative inference on downstream tasks. In the construction stage, we develop MedDr, the largest open-source GFM tailored for medicine, showcasing exceptional instruction-following and in-context learning capabilities. Meanwhile, a series of lightweight specialists are crafted for downstream tasks with low computational cost. In the collaborative inference stage, we introduce two cooperative mechanisms, Mixture-of-Expert Diagnosis and Retrieval-Augmented Diagnosis, to harvest the generalist’s in-context learning abilities alongside the specialists’ domain expertise. For a comprehensive evaluation, we curate a large-scale benchmark featuring 28 datasets and about 250,000 images. Extensive results demonstrate that MedDr consistently outperforms state-of-the-art GFMs on downstream datasets. Furthermore, GSCo exceeds both GFMs and specialists across all out-of-domain disease diagnosis datasets. These findings indicate a significant paradigm shift in the application of GFMs, transitioning from separate models for specific tasks to a collaborative approach between GFMs and specialists, thereby advancing the frontiers of generalizable AI in medicine.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google