CMOSE: Comprehensive Multi-Modality Online Student Engagement Dataset with High-Quality Labels

要約

オンライン学習はその利便性から急速に成長している産業です。
ただし、オンライン学習における大きな課題は、生徒が対面授業と同じように集中できるかどうかです。
エンゲージメント認識システムは、オンライン クラスでの学習エクスペリエンスを大幅に向上させることができます。
エンゲージメント検出における現在の課題には、データセット内のラベル品質の低下、クラス内変動、極端なデータの不均衡が含まれます。
これらの問題に対処するために、CMOSE データセットを紹介します。このデータセットには、さまざまなエンゲージメント レベルの多数のデータと、心理学的アドバイスに従って生成された高品質のラベルが含まれています。
他のエンゲージメント データセットでモデルのパフォーマンスを分析することで、転送可能性の利点を実証します。
また、クラス内の変動、異なるクラス間の順序関係、およびデータの不均衡問題を処理するためのトレーニング メカニズム MocoRank も開発しました。
MocoRank は以前のエンゲージメント検出損失を上回り、全体の精度で 1.32% の向上、平均精度で 5.05% の向上を達成しました。
さらに、事前トレーニングされたビデオ特徴、高レベルの顔の特徴、音声特徴などの特徴に関するアブレーション研究を実施することにより、マルチモダリティの有効性を実証します。

要約(オリジナル)

Online learning is a rapidly growing industry due to its convenience. However, a major challenge in online learning is whether students are as engaged as they are in face-to-face classes. An engagement recognition system can significantly improve the learning experience in online classes. Current challenges in engagement detection involve poor label quality in the dataset, intra-class variation, and extreme data imbalance. To address these problems, we present the CMOSE dataset, which contains a large number of data in different engagement levels and high-quality labels generated according to the psychological advice. We demonstrate the advantage of transferability by analyzing the model performance on other engagement datasets. We also developed a training mechanism, MocoRank, to handle the intra-class variation, the ordinal relationship between different classes, and the data imbalance problem. MocoRank outperforms prior engagement detection losses, achieving a 1.32% enhancement in overall accuracy and 5.05% improvement in average accuracy. We further demonstrate the effectiveness of multi-modality by conducting ablation studies on features such as pre-trained video features, high-level facial features, and audio features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google