CLASS Meet SPOCK: An Education Tutoring Chatbot based on Learning Science Principles

要約

我々は、高性能インテリジェント個別指導システム (ITS) を開発するための、分析的ステップバイステップ戦略による会話学習 (CLASS) と呼ばれる設計フレームワークを紹介します。
CLASS フレームワークは、ITS に 2 つの重要な機能を提供することを目的としています。1 つは家庭教師のような段階的なガイダンスを提供すること、もう 1 つは自然言語での家庭教師のような会話を可能にし、学習者を効果的に引き込むことです。
前述の機能を ITS に提供するために、CLASS フレームワークは慎重に厳選された 2 つの合成データセットを採用しています。
最初の足場データセットには、問題、それに対応する副問題、ヒント、間違った解決策、カスタマイズされたフィードバックなど、さまざまな要素が含まれています。
このデータセットは、会話の各段階で学生を導くために必要な重要な問題解決戦略を ITS に提供します。
2 番目の会話データセットには、最初のデータセットから学習した問題解決戦略の適用を含む、シミュレートされた生徒と家庭教師の会話が含まれています。
2 番目のデータセットでは、個別指導システムは事前定義された応答テンプレートに準拠しており、対話中の ITS の応答の一貫性と構造を維持するのに役立ちます。
この構造化された方法論により、ユーザー フィードバックのシームレスな統合が促進され、ITS の内部意思決定プロセスへの貴重な洞察が得られ、システムの継続的な改良と改善が可能になります。
また、大学レベルの生物学入門コンテンツに焦点を当てた CLASS フレームワークを使用してトレーニングされた、SPOCK と呼ばれる概念実証 ITS も紹介します。
SPOCK の予備評価のために慎重に構築されたプロトコルが開発され、事実の正確さや応答の関連性などの側面が検査されました。
生物学分野の専門家は好意的なコメントを寄せ、特に質問を管理可能な部分問題に分解し、学生に段階的な指導を提供する SPOCK の能力を強調しました。

要約(オリジナル)

We present a design framework called Conversational Learning with Analytical Step-by-Step Strategies (CLASS) for developing high-performance Intelligent Tutoring Systems (ITS). The CLASS framework aims to empower ITS with with two critical capabilities: imparting tutor-like step-by-step guidance and enabling tutor-like conversations in natural language to effectively engage learners. To empower ITS with the aforementioned capabilities, the CLASS framework employs two carefully curated synthetic datasets. The first scaffolding dataset encompasses a variety of elements, including problems, their corresponding subproblems, hints, incorrect solutions, and tailored feedback. This dataset provides ITS with essential problem-solving strategies necessary for guiding students through each step of the conversation. The second conversational dataset contains simulated student-tutor conversations that involve the application of problem-solving strategies learned from the first dataset. In the second dataset, the tutoring system adheres to a pre-defined response template, which helps to maintain consistency and structure in ITS’s responses during its interactions. This structured methodology facilitates seamless integration of user feedback and yields valuable insights into ITS’s internal decision-making process, allowing for continuous refinement and improvement of the system. We also present a proof-of-concept ITS, referred to as SPOCK, trained using the CLASS framework with a focus on college level introductory biology content. A carefully constructed protocol was developed for SPOCK’s preliminary evaluation, examining aspects such as the factual accuracy and relevance of its responses. Experts in the field of biology offered favorable remarks, particularly highlighting SPOCK’s capability to break down questions into manageable subproblems and provide step-by-step guidance to students.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google