Leveraging Language Models for Analyzing Longitudinal Experiential Data in Education

要約

高次元の縦断的体験データを使用して、STEM学生の学術軌道の早期予測のために、事前に訓練された言語モデル（LMS）を活用するための新しいアプローチを提案します。
学生の研究関連の活動、行動、心理的状態を捉えたこのデータは、予測に基づいた介入のための貴重な洞察を提供します。
このようなデータの処理における重要な課題には、欠損値の高いレート、コストのかかるデータ収集によるデータセットサイズの限られたもの、およびモダリティ全体の複雑な時間的変動が含まれます。
私たちのアプローチは、包括的なデータ濃縮プロセスを通じてこれらの問題に対処し、欠損値を管理するための戦略を統合し、データを増強し、タスク固有の命令とコンテキストキューを埋め込み、時間パターンを学習するためのモデルの容量を強化します。
キュレーションされた学生学習データセットでの広範な実験を通じて、エンコーダデコーダーとデコーダーのみのLMSの両方を評価します。
私たちの調査結果は、LMSがモダリティ全体でデータを効果的に統合し、欠落データに回復力を示すことを示していますが、それらは主に、時間的ダイナミクスのより深い理解を示すのではなく、高レベルの統計パターンに依存しています。
さらに、明示的な時間情報を解釈する能力は限られたままです。
この研究は、縦断的な体験データに基づいた早期介入の学生の軌跡をモデル化する際のLMSの可能性と制限の両方を強調することにより、教育データサイエンスを促進します。

要約(オリジナル)

We propose a novel approach to leveraging pre-trained language models (LMs) for early forecasting of academic trajectories in STEM students using high-dimensional longitudinal experiential data. This data, which captures students’ study-related activities, behaviors, and psychological states, offers valuable insights for forecasting-based interventions. Key challenges in handling such data include high rates of missing values, limited dataset size due to costly data collection, and complex temporal variability across modalities. Our approach addresses these issues through a comprehensive data enrichment process, integrating strategies for managing missing values, augmenting data, and embedding task-specific instructions and contextual cues to enhance the models’ capacity for learning temporal patterns. Through extensive experiments on a curated student learning dataset, we evaluate both encoder-decoder and decoder-only LMs. While our findings show that LMs effectively integrate data across modalities and exhibit resilience to missing data, they primarily rely on high-level statistical patterns rather than demonstrating a deeper understanding of temporal dynamics. Furthermore, their ability to interpret explicit temporal information remains limited. This work advances educational data science by highlighting both the potential and limitations of LMs in modeling student trajectories for early intervention based on longitudinal experiential data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google