Combining Large Language Models with Tutoring System Intelligence: A Case Study in Caregiver Homework Support

要約

養育者 (つまり、親や子どもを世話するコミュニティのメンバー) は、学習分析における利害関係者として過小評価されています。
保護者の関与は生徒の学業成績を向上させる可能性がありますが、多くの障害が関与を妨げ、特に現代の学校カリキュラムに関する知識のギャップが顕著です。
学習分析で新たに注目されているトピックは、指導と動機付けのサポートを含むハイブリッド個別指導です。
介護者も宿題において同様の役割を果たしていると主張していますが、学習分析が介護者をどのようにサポートできるかは不明です。
保護者とのこれまでの研究では、会話によるサポートが、生徒の学習を効果的にサポートするために必要な指導を保護者に提供する有望な方法であることが示唆されました。
私たちは、大規模言語モデル (LLM) によって生成された会話による推奨事項を通じて、介護者に指導サポートを提供するシステムを開発しました。
LLM の既知の指導上の制限に対処し、オープンソースの Llama 3 LLM を使用して迅速なエンジニアリング実験を実施しながら、個別指導システムからの指導インテリジェンスを使用します。
この LLM は、チャットを通じて子供の算数の練習をサポートする保護者向けの推奨メッセージを生成しました。
少数のショットでプロンプトを出し、個別指導システムからのリアルタイムの問題解決コンテキストと個別指導の実践例を組み合わせることで、望ましいメッセージの推奨事項が得られました。
これらの推奨事項は 10 人の中学校の保護者によって評価され、内容レベルのサポートと自己説明による生徒のメタ認知を促進する推奨事項が評価されました。
私たちは、会話支援を通じてハイブリッド個別指導設定をサポートし、個別指導システムへの介護者の効果的な関与を促進するために、個別指導システムを LLM と最適に統合する方法についての洞察に貢献します。

要約(オリジナル)

Caregivers (i.e., parents and members of a child’s caring community) are underappreciated stakeholders in learning analytics. Although caregiver involvement can enhance student academic outcomes, many obstacles hinder involvement, most notably knowledge gaps with respect to modern school curricula. An emerging topic of interest in learning analytics is hybrid tutoring, which includes instructional and motivational support. Caregivers assert similar roles in homework, yet it is unknown how learning analytics can support them. Our past work with caregivers suggested that conversational support is a promising method of providing caregivers with the guidance needed to effectively support student learning. We developed a system that provides instructional support to caregivers through conversational recommendations generated by a Large Language Model (LLM). Addressing known instructional limitations of LLMs, we use instructional intelligence from tutoring systems while conducting prompt engineering experiments with the open-source Llama 3 LLM. This LLM generated message recommendations for caregivers supporting their child’s math practice via chat. Few-shot prompting and combining real-time problem-solving context from tutoring systems with examples of tutoring practices yielded desirable message recommendations. These recommendations were evaluated with ten middle school caregivers, who valued recommendations facilitating content-level support and student metacognition through self-explanation. We contribute insights into how tutoring systems can best be merged with LLMs to support hybrid tutoring settings through conversational assistance, facilitating effective caregiver involvement in tutoring systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google