Med-R$^2$: Crafting Trustworthy LLM Physicians through Retrieval and Reasoning of Evidence-Based Medicine

要約

近年、大規模な言語モデル（LLM）は、臨床シナリオで顕著な能力を示しています。
しかし、その可能性にもかかわらず、既存の作業は、医療環境にLLMを適用する際に課題に直面しています。
医療データセットでのトレーニングに依存する戦略は非常にコスト集約的であり、時代遅れのトレーニングデータに苦しむ可能性があります。
外部の知識ベースを活用することは適切な代替手段ですが、回答抽出における有効性が限られているなどの障害に直面しています。
これらの問題は、LLMSが医学の専門知識を習得する能力の予想レベルを実証することを集合的に妨げています。
これらの課題に対処するために、エビデンスに基づいた医学（EBM）プロセスを順守し、検索メカニズムを効率的に統合し、証拠の選択と推論プロセスを効率的に統合し、それによって問題を強化するMed-R^2を紹介します。
– ヘルスケアシナリオにおけるLLMの解決能力と信頼できるLLM医師の育成。
私たちの包括的な実験は、Med-R^2が、追加のトレーニングコストを帯びることなく、微調整戦略と比較して、バニララグ法よりも14.87 \％の改善を達成し、さらには3.59 \％強化を達成することを示しています。

要約(オリジナル)

In recent years, Large Language Models (LLMs) have exhibited remarkable capabilities in clinical scenarios. However, despite their potential, existing works face challenges when applying LLMs to medical settings. Strategies relying on training with medical datasets are highly cost-intensive and may suffer from outdated training data. Leveraging external knowledge bases is a suitable alternative, yet it faces obstacles such as limited retrieval precision and poor effectiveness in answer extraction. These issues collectively prevent LLMs from demonstrating the expected level of proficiency in mastering medical expertise. To address these challenges, we introduce Med-R^2, a novel LLM physician framework that adheres to the Evidence-Based Medicine (EBM) process, efficiently integrating retrieval mechanisms as well as the selection and reasoning processes of evidence, thereby enhancing the problem-solving capabilities of LLMs in healthcare scenarios and fostering a trustworthy LLM physician. Our comprehensive experiments indicate that Med-R^2 achieves a 14.87\% improvement over vanilla RAG methods and even a 3.59\% enhancement compared to fine-tuning strategies, without incurring additional training costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google