Knowledge Graphs as Context Sources for LLM-Based Explanations of Learning Recommendations

要約

個別化された教育の時代においては、推奨学習内容に対する学習者の理解と関与を高めるために、学習推奨事項についてのわかりやすい説明を提供することが非常に重要です。
大規模言語モデル (LLM) と生成 AI は一般的に、最近、人間のような説明を生成し、学習の推奨事項に沿って、新しい扉を開きました。
しかし、その精度は、教育のようなデリケートな分野ではまだ許容できるものには程遠いです。
学習者の意図に対する高レベルの精度を確保しながら、LLM の能力を活用するために、この論文では、LLM プロンプトの事実コンテキストのソースとしてナレッジ グラフ (KG) を利用し、モデルのリスクを軽減するアプローチを提案します。
アプリケーション向けの学習コンテキストを維持しながら、幻覚や間違った情報または不正確な情報から保護します。
ナレッジ グラフの意味関係を利用して、推奨学習に関する厳選された知識を提供します。
ドメインの専門家と協力して、説明をテキスト テンプレートとして設計し、LLM によって入力および完成されます。
研究の一環として、専門分野の専門家がプロンプトエンジニアリング段階に組み込まれ、説明に学習者に関連する情報が確実に含まれるようになりました。
私たちは、Rouge-N および Rouge-L の尺度を使用してアプローチを定量的に評価するだけでなく、専門家や学習者を使用して定性的にも評価します。
私たちの結果は、GPT モデルのみによって生成されたものと比較して、生成された説明の再現率と精度が向上し、最終的な学習説明で不正確な情報が生成されるリスクが大幅に減少したことを示しています。

要約(オリジナル)

In the era of personalized education, the provision of comprehensible explanations for learning recommendations is of a great value to enhance the learner’s understanding and engagement with the recommended learning content. Large language models (LLMs) and generative AI in general have recently opened new doors for generating human-like explanations, for and along learning recommendations. However, their precision is still far away from acceptable in a sensitive field like education. To harness the abilities of LLMs, while still ensuring a high level of precision towards the intent of the learners, this paper proposes an approach to utilize knowledge graphs (KG) as a source of factual context, for LLM prompts, reducing the risk of model hallucinations, and safeguarding against wrong or imprecise information, while maintaining an application-intended learning context. We utilize the semantic relations in the knowledge graph to offer curated knowledge about learning recommendations. With domain-experts in the loop, we design the explanation as a textual template, which is filled and completed by the LLM. Domain experts were integrated in the prompt engineering phase as part of a study, to ensure that explanations include information that is relevant to the learner. We evaluate our approach quantitatively using Rouge-N and Rouge-L measures, as well as qualitatively with experts and learners. Our results show an enhanced recall and precision of the generated explanations compared to those generated solely by the GPT model, with a greatly reduced risk of generating imprecise information in the final learning explanation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google