Toward In-Context Teaching: Adapting Examples to Students’ Misconceptions

要約

教師が生徒の学習に例を提供する場合、これらの例は、生徒が現在の状態から目標の概念やスキルに向かって前進できるようにするための有益なものでなければなりません。
したがって、優れた教師は、生徒がすでに知っていることを推測し、生徒の知識の変化に合わせて指導を適応させる必要があります。
計算モデル、特に大規模な言語モデルを教育ツールとして使用することへの関心が高まっています。
学生として、特に言語モデルは、少数の例を与えられた新しいタスクに適応する驚くべき能力を示しました。
しかし、これらのモデルは教師としてさまざまなタイプの生徒にどの程度効果的に適応できるのでしょうか?
この疑問を研究するために、AdapT と呼ばれる一連のモデルと評価方法を導入します。
AdapT には 2 つのコンポーネントがあります。(1) 自動化された教育方法の評価に使用できる、シミュレートされたベイズ学生モデルのコレクション。
(2) これらの方法の実際の有効性を特徴付けるための、人間の学生による評価のためのプラットフォーム。
さらに、(3) AToM を導入します。AToM は、生徒の過去の信念を共同で推論し、将来の信念の正しさを最適化する、適応教育のための新しい確率モデルです。
3 つの学習領域 (分数算術、英語形態学、関数学習) にわたる模擬生徒の評価では、AToM は体系的に LLM ベースおよび標準ベイジアン教育モデルを上回っています。
人間の実験では、AToM と LLM の両方が非適応的なランダムな例の選択よりも優れたパフォーマンスを示しました。
私たちの結果は、適応教育タスクの難しさと、それを解決するための学習された適応モデルの可能性の両方を強調しています。

要約(オリジナル)

When a teacher provides examples for a student to study, these examples must be informative, enabling a student to progress from their current state toward a target concept or skill. Good teachers must therefore simultaneously infer what students already know and adapt their teaching to students’ changing state of knowledge. There is increasing interest in using computational models, particularly large language models, as pedagogical tools. As students, language models in particular have shown a remarkable ability to adapt to new tasks given small numbers of examples. But how effectively can these models adapt as teachers to students of different types? To study this question, we introduce a suite of models and evaluation methods we call AdapT. AdapT has two components: (1) a collection of simulated Bayesian student models that can be used for evaluation of automated teaching methods; (2) a platform for evaluation with human students, to characterize the real-world effectiveness of these methods. We additionally introduce (3) AToM, a new probabilistic model for adaptive teaching that jointly infers students’ past beliefs and optimizes for the correctness of future beliefs. In evaluations of simulated students across three learning domains (fraction arithmetic, English morphology, function learning), AToM systematically outperforms LLM-based and standard Bayesian teaching models. In human experiments, both AToM and LLMs outperform non-adaptive random example selection. Our results highlight both the difficulty of the adaptive teaching task and the potential of learned adaptive models for solving it.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google