Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning

要約

知識トレース (KT) は、学生の歴史的なやり取りに基づいて学生の知識の習熟度を推定することを目的としています。
最近、深層学習ベースの KT (DLKT) アプローチは、KT タスクで目覚ましいパフォーマンスを達成しました。
これらの DLKT モデルは、利用可能な多数の学生の対話に大きく依存しています。
ただし、予算の制約やプライバシーへの懸念などのさまざまな理由により、多くの実世界のシナリオ (低リソースの KT データセット) では、観察されるインタラクションは非常に限られています。
低リソースの KT データセットで DLKT モデルを直接トレーニングすると、オーバーフィッティングが発生する可能性があり、適切なディープ ニューラル アーキテクチャを選択するのが困難です。
したがって、この論文では、上記の課題に対処するために、LoReKTと呼ばれる低リソースKTフレームワークを提案します。
一般的な「事前トレーニングと微調整」パラダイムに触発され、私たちは事前トレーニング段階で豊富なリソースの KT データセットから転送可能なパラメーターと表現を学習し、その後、低リソースの KT データセットへの効果的な適応を促進することを目指しています。
具体的には、純粋にトランス デコーダーのスタックを使用して、既存の洗練された DLKT モデル アーキテクチャを簡素化します。
複数の KT データ ソースからの学生の対話を組み込むエンコード メカニズムを設計し、微調整段階で重要度の低いパラメーターを制限しながら重要度の高いパラメーターを優先的に更新する重要性メカニズムを開発します。
私たちは 6 つの公開 KT データセットで LoReKT を評価し、実験結果は AUC と精度の点で私たちのアプローチの優位性を示しています。
再現可能な研究を促進するために、データとコードを https://github.com/rattlesnakey/LoReKT で公開しています。

要約(オリジナル)

Knowledge tracing (KT) aims to estimate student’s knowledge mastery based on their historical interactions. Recently, the deep learning based KT (DLKT) approaches have achieved impressive performance in the KT task. These DLKT models heavily rely on the large number of available student interactions. However, due to various reasons such as budget constraints and privacy concerns, observed interactions are very limited in many real-world scenarios, a.k.a, low-resource KT datasets. Directly training a DLKT model on a low-resource KT dataset may lead to overfitting and it is difficult to choose the appropriate deep neural architecture. Therefore, in this paper, we propose a low-resource KT framework called LoReKT to address above challenges. Inspired by the prevalent ‘pre-training and fine-tuning’ paradigm, we aim to learn transferable parameters and representations from rich-resource KT datasets during the pre-training stage and subsequently facilitate effective adaptation to low-resource KT datasets. Specifically, we simplify existing sophisticated DLKT model architectures with purely a stack of transformer decoders. We design an encoding mechanism to incorporate student interactions from multiple KT data sources and develop an importance mechanism to prioritize updating parameters with high importance while constraining less important ones during the fine-tuning stage. We evaluate LoReKT on six public KT datasets and experimental results demonstrate the superiority of our approach in terms of AUC and Accuracy. To encourage reproducible research, we make our data and code publicly available at https://github.com/rattlesnakey/LoReKT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google