Alignment Drift in CEFR-prompted LLMs for Interactive Spanish Tutoring

要約

このペーパーでは、第二言語学習の文脈における適応チューターとしての大規模な言語モデル（LLM）の可能性を調査します。
特に、システムプロンプトがLLMSを確実に制約して、学生の能力レベルに適したテキストのみを生成できるかどうかを評価します。
7Bから12Bのパラメーターまでのサイズの指導型のオープンソースLLMを使用して、スペイン語で完全な教師と学生の対話をシミュレートします。
ダイアログは、チューターと学生の役割を別々のチャット履歴で代替するLLMを持つことによって生成されます。
チューターモデルからの出力を使用して、CEFRベースのプロンプトの有効性を評価して、3つの習熟レベル（A1、B1、C1）にわたってテキストの難易度を制御します。
私たちの調査結果は、システムのプロンプトを使用してモデル出力を制約することができるが、プロンプトだけが持続的で長期的な相互作用コンテキストには脆すぎることを示唆しています。
私たちの結果は、パーソナライズされた習熟度に整合した適応チューターに対するLLMの実現可能性に関する洞察を提供し、人間の参加者なしでモデルパフォーマンスの低コストの評価のためのスケーラブルな方法を提供します。

要約(オリジナル)

This paper investigates the potentials of Large Language Models (LLMs) as adaptive tutors in the context of second-language learning. In particular, we evaluate whether system prompting can reliably constrain LLMs to generate only text appropriate to the student’s competence level. We simulate full teacher-student dialogues in Spanish using instruction-tuned, open-source LLMs ranging in size from 7B to 12B parameters. Dialogues are generated by having an LLM alternate between tutor and student roles with separate chat histories. The output from the tutor model is then used to evaluate the effectiveness of CEFR-based prompting to control text difficulty across three proficiency levels (A1, B1, C1). Our findings suggest that while system prompting can be used to constrain model outputs, prompting alone is too brittle for sustained, long-term interactional contexts – a phenomenon we term alignment drift. Our results provide insights into the feasibility of LLMs for personalized, proficiency-aligned adaptive tutors and provide a scalable method for low-cost evaluation of model performance without human participants.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google