Supporting Student Decisions on Learning Recommendations: An LLM-Based Chatbot with Knowledge Graph Contextualization for Conversational Explainability and Mentoring

要約

学習の推奨事項に対する生徒の取り組みは、その推奨事項が推奨された理由の理解と切り離すことはできません。
そしてその理解に基づいてそれを修正する能力。
説明可能性アプローチの中でも、チャットボットは、同僚やメンターとのディスカッションと同様に、学生を会話に参加させる可能性を提供します。
ただし、生成 AI (GenAI) や大規模言語モデル (LLM) が進歩したにもかかわらず、チャットボットの機能は依然として人間のメンターに代わるには十分ではありません。
したがって、私たちはチャットボットを会話の仲介者として、また限定的かつ制御された説明生成のソースとして利用して、LLM の潜在的なリスクを軽減しながら、同時に LLM の可能性を引き出すアプローチを提案します。
提案されている LLM ベースのチャットボットは、学習者が学習パスの推奨事項を理解できるようにサポートします。
人間が厳選した情報源としてナレッジ グラフ (KG) を使用し、プロンプトのコンテキストを定義することで LLM の出力を調整します。
グループ チャット アプローチは、オンデマンドで、またはチャットボットの事前定義されたタスクを超える場合に、学生を人間の指導者と結び付けるために開発されました。
私たちはユーザー調査でチャットボットを評価し、概念実証を提供し、会話による説明可能性においてチャットボットを利用する際の潜在的な要件と制限を強調します。

要約(オリジナル)

Student commitment towards a learning recommendation is not separable from their understanding of the reasons it was recommended to them; and their ability to modify it based on that understanding. Among explainability approaches, chatbots offer the potential to engage the student in a conversation, similar to a discussion with a peer or a mentor. The capabilities of chatbots, however, are still not sufficient to replace a human mentor, despite the advancements of generative AI (GenAI) and large language models (LLM). Therefore, we propose an approach to utilize chatbots as mediators of the conversation and sources of limited and controlled generation of explanations, to harvest the potential of LLMs while reducing their potential risks at the same time. The proposed LLM-based chatbot supports students in understanding learning-paths recommendations. We use a knowledge graph (KG) as a human-curated source of information, to regulate the LLM’s output through defining its prompt’s context. A group chat approach is developed to connect students with human mentors, either on demand or in cases that exceed the chatbot’s pre-defined tasks. We evaluate the chatbot with a user study, to provide a proof-of-concept and highlight the potential requirements and limitations of utilizing chatbots in conversational explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google