要約
会話型個別指導システム (CTS) は、自然言語に基づく対話を通じて学習体験を提供します。
これらは、特に推論タスクにおいて、認知的関与を促進し、学習成果を向上させることが認められています。
それにもかかわらず、CTS コンテンツのオーサリングに関連するコストは、広範な導入や効果的な指導設計の研究にとって大きな障害となっています。
この論文では、大規模言語モデル (LLM) の最近の進歩を 2 つの方法で活用する新しいタイプの CTS について議論し、評価します。 まず、このシステムは、レッスン テキストから簡単に編集可能な個別指導スクリプトを自動的に誘導することで、AI 支援によるコンテンツ オーサリングを可能にします。
。
次に、システムは、学生と教授として機能する 2 つの LLM ベースのエージェント (Ruffle&Riley) を介して、ラーニング・バイ・ティーチング形式でスクリプトのオーケストレーションを自動化します。
このシステムでは、ITS の典型的な内部および外部ループ構造に従った自由形式の会話が可能です。
私たちは、システムをより単純な QA チャットボットおよび読書活動と比較した 2 つの被験者間オンライン ユーザー調査 (N = 200) で、生物学の授業をサポートする Ruffle&Riley の能力を評価しました。
システムの使用パターン、テスト前後のスコア、およびユーザー エクスペリエンス調査を分析したところ、Ruffle&Riley ユーザーは高レベルのエンゲージメントを報告し、提供されるサポートを理解し、役立つと認識していることがわかりました。
Ruffle&Riley のユーザーはアクティビティを完了するまでにより多くの時間を必要としますが、読書アクティビティと比べて短期的な学習効果に大きな差は見つかりませんでした。
当社のシステム アーキテクチャとユーザー調査は、将来の CTS の設計者にさまざまな洞察を提供します。
さらに、LLM ベースの学習テクノロジーの効果的な指導設計に関する進行中の研究をサポートするために、システムをオープンソース化します。
要約(オリジナル)
Conversational tutoring systems (CTSs) offer learning experiences through interactions based on natural language. They are recognized for promoting cognitive engagement and improving learning outcomes, especially in reasoning tasks. Nonetheless, the cost associated with authoring CTS content is a major obstacle to widespread adoption and to research on effective instructional design. In this paper, we discuss and evaluate a novel type of CTS that leverages recent advances in large language models (LLMs) in two ways: First, the system enables AI-assisted content authoring by inducing an easily editable tutoring script automatically from a lesson text. Second, the system automates the script orchestration in a learning-by-teaching format via two LLM-based agents (Ruffle&Riley) acting as a student and a professor. The system allows for free-form conversations that follow the ITS-typical inner and outer loop structure. We evaluate Ruffle&Riley’s ability to support biology lessons in two between-subject online user studies (N = 200) comparing the system to simpler QA chatbots and reading activity. Analyzing system usage patterns, pre/post-test scores and user experience surveys, we find that Ruffle&Riley users report high levels of engagement, understanding and perceive the offered support as helpful. Even though Ruffle&Riley users require more time to complete the activity, we did not find significant differences in short-term learning gains over the reading activity. Our system architecture and user study provide various insights for designers of future CTSs. We further open-source our system to support ongoing research on effective instructional design of LLM-based learning technologies.
arxiv情報
| 著者 | Robin Schmucker,Meng Xia,Amos Azaria,Tom Mitchell |
| 発行日 | 2024-04-26 14:57:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google