MEG: Medical Knowledge-Augmented Large Language Models for Question Answering

要約

質問応答は、明示的なコンテキストと、明言されていない関連分野の知識の両方に基づく推論を含む自然言語理解タスクです。
現代のほとんどの質問応答システムを支えている大規模言語モデル (LLM) は、医学などの特殊な領域で概念がどのように関連するかを誘導するのに苦労しています。
既存の医療 LLM のトレーニングにも費用がかかります。
この研究では、医療知識を強化した LLM のためのパラメータ効率の高いアプローチである MEG を紹介します。
MEG は、軽量のマッピング ネットワークを使用してグラフの埋め込みを LLM に統合し、コスト効率の高い方法で外部の知識を活用できるようにします。
私たちは 4 つの一般的な医療多肢選択データセットで私たちの方法を評価し、LLM がナレッジ グラフの埋め込みによって提供される事実に基づく基礎から大きな恩恵を受けることを示します。
MEG は、Mistral-Instruct ベースラインと比較して平均 +10.2% の精度を達成し、BioMistral のような特殊なモデルと比較して +6.7% の精度を達成します。
Llama-3 に基づく結果も示します。
最後に、MEG のパフォーマンスがグラフ エンコーダーの選択に対して堅牢なままであることを示します。

要約(オリジナル)

Question answering is a natural language understanding task that involves reasoning over both explicit context and unstated, relevant domain knowledge. Large language models (LLMs), which underpin most contemporary question answering systems, struggle to induce how concepts relate in specialized domains such as medicine. Existing medical LLMs are also costly to train. In this work, we present MEG, a parameter-efficient approach for medical knowledge-augmented LLMs. MEG uses a lightweight mapping network to integrate graph embeddings into the LLM, enabling it to leverage external knowledge in a cost-effective way. We evaluate our method on four popular medical multiple-choice datasets and show that LLMs greatly benefit from the factual grounding provided by knowledge graph embeddings. MEG attains an average of +10.2% accuracy over the Mistral-Instruct baseline, and +6.7% over specialized models like BioMistral. We also show results based on Llama-3. Finally, we show that MEG’s performance remains robust to the choice of graph encoder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google