Assessing the efficacy of large language models in generating accurate teacher responses

要約

(Tack et al., 2023) は、教育対話における教師の言語の生成に関する、教育アプリケーション構築のための NLP の革新的使用に関する第 18 回ワークショップが主催した共有タスクを組織しました。
共有タスクの構造に従って、この研究では、有益で役立つ洞察を生徒に提供する際に大規模な言語モデルの生成能力を評価し、それによって知識豊富な教師の役割をシミュレートすることを試みます。
この目的を達成するために、GPT-4 (少数ショット、コンテキスト内学習)、微調整された GPT-2、および微調整された DialoGPT を含む、いくつかのベンチマーク生成モデルの広範な評価を示します。
さらに、教育的品質を最適化するために、強化学習を使用して Flan-T5 モデルを微調整しました。
教師と生徒のチャットルーム コーパス サブセットに関する実験結果は、BERTScore と DialogRPT を使用して測定した、他の微調整モデルよりも GPT-4 の有効性を示しています。
私たちは、サンプリング、代表性、ダイアログの完全性などのいくつかのデータセットの特性が微調整に大きな課題をもたらし、その結果、微調整されたモデルの一般化性の低さに寄与していると仮説を立てています。
最後に、これらの生成モデルは、対話の一貫性や言語モデリングの分布の一致だけでなく、教育スキルを示すモデルの能力にも依存する指標で評価される必要があることに注意します。

要約(オリジナル)

(Tack et al., 2023) organized the shared task hosted by the 18th Workshop on Innovative Use of NLP for Building Educational Applications on generation of teacher language in educational dialogues. Following the structure of the shared task, in this study, we attempt to assess the generative abilities of large language models in providing informative and helpful insights to students, thereby simulating the role of a knowledgeable teacher. To this end, we present an extensive evaluation of several benchmarking generative models, including GPT-4 (few-shot, in-context learning), fine-tuned GPT-2, and fine-tuned DialoGPT. Additionally, to optimize for pedagogical quality, we fine-tuned the Flan-T5 model using reinforcement learning. Our experimental findings on the Teacher-Student Chatroom Corpus subset indicate the efficacy of GPT-4 over other fine-tuned models, measured using BERTScore and DialogRPT. We hypothesize that several dataset characteristics, including sampling, representativeness, and dialog completeness, pose significant challenges to fine-tuning, thus contributing to the poor generalizability of the fine-tuned models. Finally, we note the need for these generative models to be evaluated with a metric that relies not only on dialog coherence and matched language modeling distribution but also on the model’s ability to showcase pedagogical skills.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google