MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning

要約

大規模言語モデル (LLM) は、さまざまな一般領域にわたって目覚ましい進歩を遂げているにもかかわらず、医学およびヘルスケアにおいて大きな障壁に直面しています。
この分野は、ドメイン固有の用語や専門知識に対する推論など、独特の課題に直面しています。
これらの問題に対処するために、私たちは医療分野向けの新しい多分野コラボレーション (MC) フレームワークを提案します。このフレームワークは、ロールプレイング設定で LLM ベースのエージェントを活用し、協力的な複数ラウンドのディスカッションに参加することで、LLM の習熟度と推論能力を強化します。
。
このトレーニング不要のフレームワークには、ドメインの専門家を集め、個別の分析を提案し、これらの分析をレポートにまとめ、合意に達するまで議論を繰り返し、最終的に決定を下すという 5 つの重要なステップが含まれています。
私たちの作業は、現実世界のシナリオに適用できるゼロショット設定に焦点を当てています。
9 つのデータセット (MedQA、MedMCQA、PubMedQA、および MMLU の 6 つのサブタスク) に関する実験結果は、私たちが提案する MC フレームワークが、LLM 内の医療専門知識のマイニングと活用、および推論能力の拡張に優れていることを証明しています。
私たちのコードは \url{https://github.com/gersteinlab/MedAgents} にあります。

要約(オリジナル)

Large language models (LLMs), despite their remarkable progress across various general domains, encounter significant barriers in medicine and healthcare. This field faces unique challenges such as domain-specific terminologies and reasoning over specialized knowledge. To address these issues, we propose a novel Multi-disciplinary Collaboration (MC) framework for the medical domain that leverages LLM-based agents in a role-playing setting that participate in a collaborative multi-round discussion, thereby enhancing LLM proficiency and reasoning capabilities. This training-free framework encompasses five critical steps: gathering domain experts, proposing individual analyses, summarising these analyses into a report, iterating over discussions until a consensus is reached, and ultimately making a decision. Our work focuses on the zero-shot setting, which is applicable in real-world scenarios. Experimental results on nine datasets (MedQA, MedMCQA, PubMedQA, and six subtasks from MMLU) establish that our proposed MC framework excels at mining and harnessing the medical expertise within LLMs, as well as extending its reasoning abilities. Our code can be found at \url{https://github.com/gersteinlab/MedAgents}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google