LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction

要約

EFL（外国語としての英語）ライティング教育において、LLM-as-a-tutorは学生のエッセイにリアルタイムでフィードバックを提供し、学生を支援することができる。しかし、LLM-as-a-tutorの評価には、教育的な使用例と一般的な使用例で基準が異なるため、課題が生じます。このギャップを埋めるために、我々は教育学的原則を統合し、学生とLLMの相互作用を評価する。まず、LLMがどのように英語チューターとして機能し、学生に合わせた効果的な小論文フィードバックを提供できるかを探る。第二に、EFLライティング教育のために特別に設計された、教育学的側面に重点を置いたLLM-as-a-tutorを評価する3つの指標を提案する。このプロセスでは、EFLの専門家がLLM-as-a-tutorからのフィードバックの質と特徴を評価する。一方、EFL学習者はLLM-as-a-tutorとの対話から学習成果を評価する。このアプローチは、EFL学習者のニーズに合わせたLLM-as-a-tutorを開発するための基礎となり、この文脈におけるライティング教育の有効性を前進させる。

要約(オリジナル)

In the context of English as a Foreign Language (EFL) writing education, LLM-as-a-tutor can assist students by providing real-time feedback on their essays. However, challenges arise in assessing LLM-as-a-tutor due to differing standards between educational and general use cases. To bridge this gap, we integrate pedagogical principles to assess student-LLM interaction. First, we explore how LLMs can function as English tutors, providing effective essay feedback tailored to students. Second, we propose three metrics to evaluate LLM-as-a-tutor specifically designed for EFL writing education, emphasizing pedagogical aspects. In this process, EFL experts evaluate the feedback from LLM-as-a-tutor regarding quality and characteristics. On the other hand, EFL learners assess their learning outcomes from interaction with LLM-as-a-tutor. This approach lays the groundwork for developing LLMs-as-a-tutor tailored to the needs of EFL learners, advancing the effectiveness of writing education in this context.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL