LLM-SEM: A Sentiment-Based Student Engagement Metric Using LLMS for E-Learning Platforms

要約

自動化システムを含む e ラーニング プラットフォームへの学生の関与を分析するための現在の方法は、テキスト コメント内のあいまいな感情の処理や限られたメタデータへの依存などの課題に苦戦することがよくあります。
調査やアンケートなどの従来のアプローチも、サンプルサイズが小さいことや拡張性などの問題に直面しています。
このペーパーでは、ビデオのメタデータと学生のコメントのセンチメント分析を活用してエンゲージメントを測定する新しいアプローチである LLM-SEM (言語モデルベースの学生エンゲージメント指標) を紹介します。
最新の大規模言語モデル (LLM) を利用することで、高品質のセンチメント予測を生成し、テキストのあいまいさを軽減し、閲覧数やいいね! などの主要な機能を正規化します。
当社の総合的な手法では、包括的なメタデータとセンチメント極性スコアを組み合わせて、コース レベルとレッスン レベルの両方でのエンゲージメントを測定します。
さまざまな LLM モデルを評価するために広範な実験が実施され、学生の参加度をスケーラブルかつ正確に測定できる LLM-SEM の有効性が実証されました。
人間による注釈が付けられたセンチメント データセットを使用して TXLM-RoBERTa を微調整し、予測精度を向上させ、Ollama の LLama 3B および Gemma 9B を利用しました。

要約(オリジナル)

Current methods for analyzing student engagement in e-learning platforms, including automated systems, often struggle with challenges such as handling fuzzy sentiment in text comments and relying on limited metadata. Traditional approaches, such as surveys and questionnaires, also face issues like small sample sizes and scalability. In this paper, we introduce LLM-SEM (Language Model-Based Student Engagement Metric), a novel approach that leverages video metadata and sentiment analysis of student comments to measure engagement. By utilizing recent Large Language Models (LLMs), we generate high-quality sentiment predictions to mitigate text fuzziness and normalize key features such as views and likes. Our holistic method combines comprehensive metadata with sentiment polarity scores to gauge engagement at both the course and lesson levels. Extensive experiments were conducted to evaluate various LLM models, demonstrating the effectiveness of LLM-SEM in providing a scalable and accurate measure of student engagement. We fine-tuned TXLM-RoBERTa using human-annotated sentiment datasets to enhance prediction accuracy and utilized LLama 3B, and Gemma 9B from Ollama.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google