Bag of States: A Non-sequential Approach to Video-based Engagement Measurement

要約

学生の関与の自動測定は、インストラクターが学習プログラムの目標を達成し、プログラムの提供を個別化するのに役立つ情報を提供します。
学生の行動と感情の状態は、学生の関与のレベルを測定するために、きめの細かい時間スケールで分析する必要があります。
多くの既存のアプローチでは、ビデオから生徒の関与を測定するために、リカレント ニューラル ネットワーク、時間畳み込みネットワーク、3 次元畳み込みニューラル ネットワークなどの逐次および時空間モデルが開発されています。
これらのモデルは、生徒の行動および感情状態の順序をビデオ分析に組み込み、生徒の関与レベルを出力するようにトレーニングされています。
この論文では、教育心理学に裏打ちされており、生徒の関与を測定する際に、生徒の行動および感情状態の順序をモデル化する必要性を疑問視しています。
私たちは、学生の行動的および感情的状態の発生のみがモデル化および分析され、それらが発生する順序ではなく、バッグオブワードベースのモデルを開発します。
行動的および感情的な特徴がビデオから抽出され、提案されたモデルによって分析され、序数出力分類設定でのエンゲージメントのレベルが決定されます。
エンゲージメント測定のための既存のシーケンシャルおよび時空間アプローチと比較して、提案された非シーケンシャル アプローチは最先端の結果を改善します。
実験結果によると、私たちの方法は、順次モデルと比較して、IIITB オンライン SE データセットのエンゲージメント レベル分類精度を 26% 大幅に改善し、DAiSEE 学生エンゲージメント データセットで 66.58% という高いエンゲージメント レベル分類精度を達成しました。

要約(オリジナル)

Automatic measurement of student engagement provides helpful information for instructors to meet learning program objectives and individualize program delivery. Students’ behavioral and emotional states need to be analyzed at fine-grained time scales in order to measure their level of engagement. Many existing approaches have developed sequential and spatiotemporal models, such as recurrent neural networks, temporal convolutional networks, and three-dimensional convolutional neural networks, for measuring student engagement from videos. These models are trained to incorporate the order of behavioral and emotional states of students into video analysis and output their level of engagement. In this paper, backed by educational psychology, we question the necessity of modeling the order of behavioral and emotional states of students in measuring their engagement. We develop bag-of-words-based models in which only the occurrence of behavioral and emotional states of students is modeled and analyzed and not the order in which they occur. Behavioral and affective features are extracted from videos and analyzed by the proposed models to determine the level of engagement in an ordinal-output classification setting. Compared to the existing sequential and spatiotemporal approaches for engagement measurement, the proposed non-sequential approach improves the state-of-the-art results. According to experimental results, our method significantly improved engagement level classification accuracy on the IIITB Online SE dataset by 26% compared to sequential models and achieved engagement level classification accuracy as high as 66.58% on the DAiSEE student engagement dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google