要約
会話型個別指導システム (CTS) は、自然言語の対話による学習体験を提供します。
これらは、特に推論タスクにおいて、高レベルの認知関与を促進し、学習成果に利益をもたらすことが知られています。
それにもかかわらず、CTS コンテンツの作成に必要な時間とコストが、広く普及する上での大きな障害となっています。
この論文では、大規模言語モデル (LLM) の最近の進歩を 2 つの方法で活用する、新しいタイプの CTS を紹介します。1 つ目は、システムがレッスン テキストから個別指導スクリプトを自動的に誘導することです。
2 番目に、システムは、ラーニング・バイ・ティーチング形式で学生と教授の役割を持つ 2 つの LLM ベースのエージェント (Ruffle&Riley) を介してスクリプト オーケストレーションを自動化します。
このシステムでは、ITS の典型的な内部および外部ループ構造に従った自由形式の会話が可能です。
Ruffle&Riley と、より単純な QA チャットボットおよび読書活動を比較した最初の被験者間のオンライン ユーザー調査 (N = 100) では、テスト後のスコアに有意な差は見つかりませんでした。
それにもかかわらず、学習体験調査では、Ruffle&Riley のユーザーは理解と記憶についてより高い評価を示し、さらに、提供されたサポートがより有益であり、会話が一貫していると認識しています。
私たちの研究は、新世代のスケーラブルな CTS テクノロジーに関する洞察を提供します。
要約(オリジナル)
Conversational tutoring systems (CTSs) offer learning experiences driven by natural language interaction. They are known to promote high levels of cognitive engagement and benefit learning outcomes, particularly in reasoning tasks. Nonetheless, the time and cost required to author CTS content is a major obstacle to widespread adoption. In this paper, we introduce a novel type of CTS that leverages the recent advances in large language models (LLMs) in two ways: First, the system induces a tutoring script automatically from a lesson text. Second, the system automates the script orchestration via two LLM-based agents (Ruffle&Riley) with the roles of a student and a professor in a learning-by-teaching format. The system allows a free-form conversation that follows the ITS-typical inner and outer loop structure. In an initial between-subject online user study (N = 100) comparing Ruffle&Riley to simpler QA chatbots and reading activity, we found no significant differences in post-test scores. Nonetheless, in the learning experience survey, Ruffle&Riley users expressed higher ratings of understanding and remembering and further perceived the offered support as more helpful and the conversation as coherent. Our study provides insights for a new generation of scalable CTS technologies.
arxiv情報
| 著者 | Robin Schmucker,Meng Xia,Amos Azaria,Tom Mitchell |
| 発行日 | 2023-11-14 15:41:45+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google