Med-R$^2$: Crafting Trustworthy LLM Physicians through Retrieval and Reasoning of Evidence-Based Medicine

要約

近年、大規模言語モデル (LLM) は臨床シナリオで顕著な機能を発揮しています。
ただし、その可能性にもかかわらず、LLM を医療現場に適用する場合、既存の作品は課題に直面しています。
医療データセットを使用したトレーニングに依存する戦略は非常にコストがかかり、トレーニング データが古いと問題が発生する可能性があります。
外部のナレッジ ベースを活用することは適切な代替手段ですが、検索精度が限られている、回答抽出の効率が低いなどの障害に直面しています。
これらの問題は総合的に、LLM が医療専門知識の習得において期待されるレベルの熟練度を実証することを妨げています。
これらの課題に対処するために、我々は、証拠に基づく医療 (EBM) プロセスに準拠した新しい LLM 医師フレームワークである Med-R^2 を導入し、検索メカニズムと証拠の選択および推論プロセスを効率的に統合することで、問題を強化します。
-医療シナリオにおけるLLMの解決能力と、信頼できるLLM医師の育成。
私たちの包括的な実験により、Med-R^2 は、追加のトレーニング コストを発生させることなく、バニラ RAG メソッドと比較して 14.87\% の向上、さらには微調整戦略と比較して 3.59\% の向上を達成することが示されています。

要約(オリジナル)

In recent years, Large Language Models (LLMs) have exhibited remarkable capabilities in clinical scenarios. However, despite their potential, existing works face challenges when applying LLMs to medical settings. Strategies relying on training with medical datasets are highly cost-intensive and may suffer from outdated training data. Leveraging external knowledge bases is a suitable alternative, yet it faces obstacles such as limited retrieval precision and poor effectiveness in answer extraction. These issues collectively prevent LLMs from demonstrating the expected level of proficiency in mastering medical expertise. To address these challenges, we introduce Med-R^2, a novel LLM physician framework that adheres to the Evidence-Based Medicine (EBM) process, efficiently integrating retrieval mechanisms as well as the selection and reasoning processes of evidence, thereby enhancing the problem-solving capabilities of LLMs in healthcare scenarios and fostering a trustworthy LLM physician. Our comprehensive experiments indicate that Med-R^2 achieves a 14.87\% improvement over vanilla RAG methods and even a 3.59\% enhancement compared to fine-tuning strategies, without incurring additional training costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google