MKRAG: Medical Knowledge Retrieval Augmented Generation for Medical Question Answering

要約

大規模言語モデル (LLM) は、一般的なドメインでは強力ですが、医療質問応答 (QA) などのドメイン固有のタスクではパフォーマンスが低下することがよくあります。
さらに、彼らは「ブラックボックス」として機能する傾向があり、その行動を修正することが困難になります。
この問題に対処するために、私たちの研究では検索拡張生成 (RAG) を詳しく調べ、微調整や再トレーニングを必要とせずに LLM 応答を改善することを目指しています。
具体的には、外部の知識ベースから医学的事実を抽出し、それを LLM のクエリ プロンプトに挿入するための包括的な検索戦略を提案します。
MedQA-SMILE データセットを使用した医療 QA に焦点を当て、さまざまな検索モデルの影響と LLM に提供されるファクトの数を評価します。
特に、検索強化された Vicuna-7B モデルでは、精度が 44.46% から 48.54% に向上しました。
この研究は、RAG が LLM のパフォーマンスを向上させる可能性を強調し、ブラックボックス LLM の課題を軽減する実用的なアプローチを提供します。

要約(オリジナル)

Large Language Models (LLMs), although powerful in general domains, often perform poorly on domain-specific tasks like medical question answering (QA). Moreover, they tend to function as ‘black-boxes,’ making it challenging to modify their behavior. To address the problem, our study delves into retrieval augmented generation (RAG), aiming to improve LLM responses without the need for fine-tuning or retraining. Specifically, we propose a comprehensive retrieval strategy to extract medical facts from an external knowledge base, and then inject them into the query prompt for LLMs. Focusing on medical QA using the MedQA-SMILE dataset, we evaluate the impact of different retrieval models and the number of facts provided to the LLM. Notably, our retrieval-augmented Vicuna-7B model exhibited an accuracy improvement from 44.46% to 48.54%. This work underscores the potential of RAG to enhance LLM performance, offering a practical approach to mitigate the challenges of black-box LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google