Improving Low-Resource Knowledge Tracing Tasks by Supervised Pre-training and Importance Mechanism Fine-tuning

要約

ナレッジ・トレーシング（KT）は、生徒の過去のやり取りから知識の習得度を推定することを目的としている。近年、ディープラーニングに基づくKT（DLKT）アプローチがKTタスクにおいて目覚ましい性能を達成している。これらのDLKTモデルは、利用可能な多数の生徒とのインタラクションに大きく依存しています。しかし、予算の制約やプライバシーの問題など様々な理由から、実世界の多くのシナリオ、すなわちリソースの少ないKTデータセットでは、観測された交流は非常に限られている。低リソースKTデータセットに対してDLKTモデルを直接学習させることは、オーバーフィッティングを引き起こす可能性があり、適切なディープニューラルアーキテクチャを選択することは困難である。そこで本稿では、上記の課題を解決するために、LoReKTと呼ばれる低リソースKTフレームワークを提案する。一般的な「事前学習と微調整」のパラダイムに着想を得て、事前学習段階で豊富なリソースのKTデータセットから伝達可能なパラメータと表現を学習し、その後、低リソースのKTデータセットへの効果的な適応を促進することを目指す。具体的には、既存の高度なDLKTモデルアーキテクチャを単純化し、純粋にトランスフォーマーデコーダーのスタックのみを用いる。また、複数のKTデータソースから生徒とのやり取りを取り込むエンコーディングメカニズムを設計し、重要度の高いパラメータを優先的に更新する一方で、微調整段階では重要度の低いパラメータを制約する重要度メカニズムを開発する。LoReKTを6つの公開KTデータセットで評価し、実験結果はAUCと精度の点で我々のアプローチの優位性を実証した。再現可能な研究を奨励するため、我々はデータとコードを https://anonymous.4open.science/r/LoReKT-C619 で公開している。

要約(オリジナル)

Knowledge tracing (KT) aims to estimate student’s knowledge mastery based on their historical interactions. Recently, the deep learning based KT (DLKT) approaches have achieved impressive performance in the KT task. These DLKT models heavily rely on the large number of available student interactions. However, due to various reasons such as budget constraints and privacy concerns, observed interactions are very limited in many real-world scenarios, a.k.a, low-resource KT datasets. Directly training a DLKT model on a low-resource KT dataset may lead to overfitting and it is difficult to choose the appropriate deep neural architecture. Therefore, in this paper, we propose a low-resource KT framework called LoReKT to address above challenges. Inspired by the prevalent ‘pre-training and fine-tuning’ paradigm, we aim to learn transferable parameters and representations from rich-resource KT datasets during the pre-training stage and subsequently facilitate effective adaptation to low-resource KT datasets. Specifically, we simplify existing sophisticated DLKT model architectures with purely a stack of transformer decoders. We design an encoding mechanism to incorporate student interactions from multiple KT data sources and develop an importance mechanism to prioritize updating parameters with high importance while constraining less important ones during the fine-tuning stage. We evaluate LoReKT on six public KT datasets and experimental results demonstrate the superiority of our approach in terms of AUC and Accuracy. To encourage reproducible research, we make our data and code publicly available at https://anonymous.4open.science/r/LoReKT-C619.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL