Biomedical knowledge graph-enhanced prompt generation for large language models

要約

大規模言語モデル (LLM) は、前例のない速度で AI の進歩を推進していますが、生物医学などの知識集約型の領域では依然として課題に直面しています。
事前トレーニングやドメイン固有の微調整などのソリューションでは、かなりの計算オーバーヘッドが追加され、後者にはドメインの専門知識が必要です。
外部知識の注入はタスク固有であり、モデルのトレーニングが必要です。
ここでは、Llama-2-13b、GPT-3.5-Turbo、GPT-4 などの LLM を備えた大規模な生物医学 KG SPOKE を利用して、タスクに依存しないナレッジ グラフベースの検索拡張生成 (KG-RAG) フレームワークを導入します。
確立された知識に根ざした有意義な生物医学テキスト。
KG-RAG は、1 ホップおよび 2 ホップのプロンプト、薬物再利用クエリ、生物医学の正誤質問、多肢選択質問 (MCQ) など、さまざまなプロンプト タイプにわたって LLM のパフォーマンスを一貫して強化しました。
特に、KG-RAG は、困難な MCQ データセット上で Llama-2 モデルのパフォーマンスを 71% 向上させ、ドメイン固有の質問に対してより少ないパラメータでオープンソース モデルを強化するフレームワークの能力を実証しています。
さらに、KG-RAG は、MCQ データのコンテキスト利用において GPT-4 よりも改善された GPT-3.5 など、独自の GPT モデルのパフォーマンスを強化しました。
私たちのアプローチは薬物の再利用に関する質問にも対処することができ、意味のある再利用の提案が得られました。
要約すると、提案されたフレームワークは、KG と LLM のそれぞれの明示的知識と暗黙的知識を最適化された方法で組み合わせ、統一されたフレームワークでドメイン固有の問題に取り組むための汎用 LLM の適応性を強化します。

要約(オリジナル)

Large Language Models (LLMs) have been driving progress in AI at an unprecedented rate, yet still face challenges in knowledge-intensive domains like biomedicine. Solutions such as pre-training and domain-specific fine-tuning add substantial computational overhead, and the latter require domain-expertise. External knowledge infusion is task-specific and requires model training. Here, we introduce a task-agnostic Knowledge Graph-based Retrieval Augmented Generation (KG-RAG) framework by leveraging the massive biomedical KG SPOKE with LLMs such as Llama-2-13b, GPT-3.5-Turbo and GPT-4, to generate meaningful biomedical text rooted in established knowledge. KG-RAG consistently enhanced the performance of LLMs across various prompt types, including one-hop and two-hop prompts, drug repurposing queries, biomedical true/false questions, and multiple-choice questions (MCQ). Notably, KG-RAG provides a remarkable 71% boost in the performance of the Llama-2 model on the challenging MCQ dataset, demonstrating the framework’s capacity to empower open-source models with fewer parameters for domain-specific questions. Furthermore, KG-RAG enhanced the performance of proprietary GPT models, such as GPT-3.5 which exhibited improvement over GPT-4 in context utilization on MCQ data. Our approach was also able to address drug repurposing questions, returning meaningful repurposing suggestions. In summary, the proposed framework combines explicit and implicit knowledge of KG and LLM, respectively, in an optimized fashion, thus enhancing the adaptability of general-purpose LLMs to tackle domain-specific questions in a unified framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google