How to Build an AI Tutor That Can Adapt to Any Course Using Knowledge Graph-Enhanced Retrieval-Augmented Generation (KG-RAG)

要約

この論文では、LLM ベースの個別指導システムにおける 2 つの重要な課題、つまり情報幻覚と限られたコース固有の適応に対処する新しいフレームワークである KG-RAG (Knowledge Graph-enhanced Retrieval-Augmented Generation) を紹介します。
KG-RAG は、ナレッジ グラフと検索拡張生成を統合することにより、コースの概念とその関係を構造化して表現し、文脈に基づいた教育学的に健全な応答を可能にします。
Qwen2.5を使用してフレームワークを実装し、高いパフォーマンスを維持しながら費用対効果を実証します。
KG-RAG システムは、76 人の大学生を対象とした対照研究において、標準的な RAG ベースの個別指導を上回りました (平均スコア: 6.37 対 4.71、p<0.001、Cohen の d=0.86)。 ユーザーのフィードバックでは、回答の関連性 (84% が肯定的) とユーザー エクスペリエンス (59% が肯定的) に高い満足度が示されました。 私たちのフレームワークは、パーソナライズされた AI 個別指導へのスケーラブルなアプローチを提供し、応答の正確さと教育上の一貫性を保証します。

要約(オリジナル)

This paper introduces KG-RAG (Knowledge Graph-enhanced Retrieval-Augmented Generation), a novel framework that addresses two critical challenges in LLM-based tutoring systems: information hallucination and limited course-specific adaptation. By integrating knowledge graphs with retrieval-augmented generation, KG-RAG provides a structured representation of course concepts and their relationships, enabling contextually grounded and pedagogically sound responses. We implement the framework using Qwen2.5, demonstrating its cost-effectiveness while maintaining high performance. The KG-RAG system outperformed standard RAG-based tutoring in a controlled study with 76 university students (mean scores: 6.37 vs. 4.71, p<0.001, Cohen's d=0.86). User feedback showed strong satisfaction with answer relevance (84% positive) and user experience (59% positive). Our framework offers a scalable approach to personalized AI tutoring, ensuring response accuracy and pedagogical coherence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google