Using Large Language Models to Provide Explanatory Feedback to Human Tutors

要約

研究によると、学習者が自分の推論をサポートする説明を作成するプロセスに取り組むと、学習にプラスの影響を与える可能性があります。
ただし、学習者にリアルタイムの説明フィードバックを提供すると、特に状況に応じて複雑で微妙な応答が含まれるドメイン固有の環境では、分類の精度に関連する課題が発生することがよくあります。
生徒を効果的に褒める方法について、オンライン レッスン内で講師にリアルタイムのフィードバックを提供するための 2 つのアプローチを紹介します。
この進行中の研究は、効果的または努力ベース (F1 スコア = 0.811) の賞賛反応と、効果的でない、または結果ベース (F1 スコア = 0.350) の賞賛反応の修正フィードバックの二項分類において、かなりの精度を示しています。
さらに注目すべきは、大規模言語モデルによって促進される固有表現認識を使用して説明的なフィードバックを提供するという強化されたアプローチに向けた進歩を導入していることです。これにより、レッスンに参加している間だけでなく、講師にフィードバックを提供できるだけでなく、リアルタイムの講師の動きを潜在的に提案することもできます。
今後の作業には、データ拡張のための大規模な言語モデルを活用して精度を向上させると同時に、説明的なフィードバック インターフェイスを開発することが含まれます。

要約(オリジナル)

Research demonstrates learners engaging in the process of producing explanations to support their reasoning, can have a positive impact on learning. However, providing learners real-time explanatory feedback often presents challenges related to classification accuracy, particularly in domain-specific environments, containing situationally complex and nuanced responses. We present two approaches for supplying tutors real-time feedback within an online lesson on how to give students effective praise. This work-in-progress demonstrates considerable accuracy in binary classification for corrective feedback of effective, or effort-based (F1 score = 0.811), and ineffective, or outcome-based (F1 score = 0.350), praise responses. More notably, we introduce progress towards an enhanced approach of providing explanatory feedback using large language model-facilitated named entity recognition, which can provide tutors feedback, not only while engaging in lessons, but can potentially suggest real-time tutor moves. Future work involves leveraging large language models for data augmentation to improve accuracy, while also developing an explanatory feedback interface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google