MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making

要約

ファウンデーションモデルは、医療における貴重なツールになりつつある。しかし、Large Language Models（LLM）を複雑な医療タスクに活用するための最良の方法は、その将来性にもかかわらず、未解決のままである。我々は、医療意思決定エージェント（MDAgents）と名付けた新しいマルチエージェントフレームワークを紹介し、LLMのチームにコラボレーション構造を自動的に割り当てることによって、このギャップを解決する手助けをする。割り当てられた単独またはグループの共同作業構造は、複雑さの異なるタスクに適応した実世界の医療意思決定プロセスをエミュレートしながら、目下の医療タスクに合わせて調整される。我々のフレームワークとベースライン手法を、実世界の医学知識と医学診断のベンチマーク群にわたって、最先端のLLMを用いて評価した。MDAgentsは、医学知識の理解とマルチモーダル推論を必要とするタスクにおいて、10個のベンチマークのうち7個で最高の性能を達成し、従来の手法の最高の性能と比較して最大6.5%の有意な改善を示した（p < 0.05）。アブレーション研究により、MDAgentsが医学的複雑性を効果的に判断し、多様な医学的タスクの効率と精度を最適化することが明らかになった。特筆すべきは、モデレーターのレビューと外部の医療知識を組み合わせたグループコラボレーションにより、平均11.8%の精度向上が見られたことである。我々のコードはhttps://github.com/mitmedialab/MDAgents。

要約(オリジナル)

Foundation models are becoming valuable tools in medicine. Yet despite their promise, the best way to leverage Large Language Models (LLMs) in complex medical tasks remains an open question. We introduce a novel multi-agent framework, named Medical Decision-making Agents (MDAgents) that helps address this gap by automatically assigning a collaboration structure to a team of LLMs. The assigned solo or group collaboration structure is tailored to the medical task at hand, emulating real-world medical decision-making processes adapted to tasks of varying complexities. We evaluate our framework and baseline methods using state-of-the-art LLMs across a suite of real-world medical knowledge and medical diagnosis benchmarks. MDAgents achieved the best performance in seven out of ten benchmarks on tasks requiring an understanding of medical knowledge and multi-modal reasoning, showing a significant improvement of up to 6.5% (p < 0.05) compared to previous methods' best performances. Ablation studies reveal that MDAgents effectively determines medical complexity to optimize for efficiency and accuracy across diverse medical tasks. Notably, the combination of moderator review and external medical knowledge in group collaboration resulted in an average accuracy improvement of 11.8%. Our code can be found at https://github.com/mitmedialab/MDAgents.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL