DIPSER: A Dataset for In-Person Student1 Engagement Recognition in the Wild

要約

このホワイトペーパーでは、個人の教室の設定内で学生の注意を評価するために設計された新しいデータセットが導入されています。
このデータセットには、各個人のスマートウォッチセンサーデータに加えて、姿勢と表情の両方をキャプチャするために、生徒ごとに複数のカメラを備えたRGBカメラデータが含まれます。
このデータセットにより、機械学習アルゴリズムをトレーニングして、注意を予測し、感情と相関させることができます。
各生徒に注意と感情のラベルの包括的なスイートが提供され、4人の異なる専門家による評価と評価によって生成されます。
当社のデータセットは、フェイシャルカメラデータと環境カメラデータ、スマートウォッチメトリックを独自に組み合わせており、すべてのデータセットで過小評価されている民族が含まれており、すべて内部の対面設定内で、現在利用可能なこの種の最も包括的なデータセットになっています。
提示されたデータセットは、他のツールからの追加のメタデータで増強された、さまざまな教育コンテキストにわたる学生のやり取りに関する広範かつ多様なデータのコレクションを提供します。
このイニシアチブは、対面のレッスンにおける学生の注意と感情を分析するための貴重なリソースを提供することにより、既存の欠陥に対処します。

要約(オリジナル)

In this paper, a novel dataset is introduced, designed to assess student attention within in-person classroom settings. This dataset encompasses RGB camera data, featuring multiple cameras per student to capture both posture and facial expressions, in addition to smartwatch sensor data for each individual. This dataset allows machine learning algorithms to be trained to predict attention and correlate it with emotion. A comprehensive suite of attention and emotion labels for each student is provided, generated through self-reporting as well as evaluations by four different experts. Our dataset uniquely combines facial and environmental camera data, smartwatch metrics, and includes underrepresented ethnicities in similar datasets, all within in-the-wild, in-person settings, making it the most comprehensive dataset of its kind currently available. The dataset presented offers an extensive and diverse collection of data pertaining to student interactions across different educational contexts, augmented with additional metadata from other tools. This initiative addresses existing deficiencies by offering a valuable resource for the analysis of student attention and emotion in face-to-face lessons.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google