Automated Visual Attention Detection using Mobile Eye Tracking in Behavioral Classroom Studies

要約

教師の視覚的な注意と教室での生徒全体での流通は、生徒の関与、達成、および専門教師のトレーニングに重要な意味を構成することができます。
それにもかかわらず、学生の教師がどこで、どの学生教師が焦点を当てるかについての情報を推測することは些細なことではありません。
モバイルアイトラッキングは、この問題を解決するために重要なヘルプを提供できます。
ただし、モバイルアイトラッキングのみを使用するには、かなりの量の手動注釈が必要です。
この制限に対処するために、教師が焦点を当てる学生を認識するために最小限の手動注釈付きデータを必要とする自動処理パイプラインの概念を提示します。
この目的のために、最先端の顔検出モデルと顔認識機能の埋め込みを利用して、教室のコンテキストでの転送学習で顔認識モデルを訓練し、これらのモデルをモバイルアイトラッカーからの教師の視線と組み合わせます。
4つの異なる教室から収集されたデータでアプローチを評価しましたが、結果は、すべての教室のセットアップで視覚的に焦点を当てた学生を妥当なパフォーマンスで推定することが可能であるが、U字型および小さな教室ではそれぞれ約0.7と0.9の正確さを伴う最高の結果をもたらしたことを示しています。
教師と学生の相互作用の方法を評価せず、技術的アプローチの妥当性に焦点を合わせていましたが、私たちの方法論は膨大な量の手動注釈付きデータを必要とせず、教師の視覚的注意を扱う非侵入方法を提供するため、教育戦略を改善し、教室管理を強化し、専門教師開発のためのフィードバックを提供するのに役立ちます。

要約(オリジナル)

Teachers’ visual attention and its distribution across the students in classrooms can constitute important implications for student engagement, achievement, and professional teacher training. Despite that, inferring the information about where and which student teachers focus on is not trivial. Mobile eye tracking can provide vital help to solve this issue; however, the use of mobile eye tracking alone requires a significant amount of manual annotations. To address this limitation, we present an automated processing pipeline concept that requires minimal manually annotated data to recognize which student the teachers focus on. To this end, we utilize state-of-the-art face detection models and face recognition feature embeddings to train face recognition models with transfer learning in the classroom context and combine these models with the teachers’ gaze from mobile eye trackers. We evaluated our approach with data collected from four different classrooms, and our results show that while it is possible to estimate the visually focused students with reasonable performance in all of our classroom setups, U-shaped and small classrooms led to the best results with accuracies of approximately 0.7 and 0.9, respectively. While we did not evaluate our method for teacher-student interactions and focused on the validity of the technical approach, as our methodology does not require a vast amount of manually annotated data and offers a non-intrusive way of handling teachers’ visual attention, it could help improve instructional strategies, enhance classroom management, and provide feedback for professional teacher development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google