Real-time estimation of overt attention from dynamic features of the face using deep-learning

要約

生徒は授業中に集中力が散漫になってしまうことがよくあります。
有能な教師はこのことを認識し、必要に応じて再び指導を行います。
遠隔学習への移行により、教師は生徒の取り組みの変化に適応するために必要な視覚的なフィードバックを失いました。
私たちは、すぐに利用できる正面ビデオを使用して、目、頭、顔の動きに基づいて注意レベルを推測することを提案します。
明らかな目の動きに基づいて注意力の程度を予測するために、深層学習モデルをトレーニングします。
具体的には、学生が同じ教育ビデオを見ているときに、10 秒間隔で目の動きの被験者間相関を測定します。
3 つの異なる実験 (N=83) で、訓練されたモデルが、目に見えないデータについては $R^2$=0.38 で、目に見えない対象については $R^2$=0.26-0.30 で、この客観的な注目の指標を予測することを示します。
深いネットワークは主に生徒の目の動きに依存しますが、眉、頬、頭の動きにもある程度依存します。
目の被験者間相関とは対照的に、このモデルは、注意深いグループからの参照データを必要とせずに、個々の生徒の動きから注意力を推定できます。
これにより、より広範なオンライン アプリケーションが可能になります。
このソリューションは軽量でクライアント側で動作できるため、オンライン アテンション モニタリングに関連するプライバシーの問題の一部が軽減されます。
GitHub の実装は https://github.com/asortubay/timeISC で入手できます。

要約(オリジナル)

Students often drift in and out of focus during class. Effective teachers recognize this and re-engage them when necessary. With the shift to remote learning, teachers have lost the visual feedback needed to adapt to varying student engagement. We propose using readily available front-facing video to infer attention levels based on movements of the eyes, head, and face. We train a deep learning model to predict a measure of attention based on overt eye movements. Specifically, we measure Inter-Subject Correlation of eye movements in ten-second intervals while students watch the same educational videos. In 3 different experiments (N=83) we show that the trained model predicts this objective metric of attention on unseen data with $R^2$=0.38, and on unseen subjects with $R^2$=0.26-0.30. The deep network relies mostly on a student’s eye movements, but to some extent also on movements of the brows, cheeks, and head. In contrast to Inter-Subject Correlation of the eyes, the model can estimate attentional engagement from individual students’ movements without needing reference data from an attentive group. This enables a much broader set of online applications. The solution is lightweight and can operate on the client side, which mitigates some of the privacy concerns associated with online attention monitoring. GitHub implementation is available at https://github.com/asortubay/timeISC

arxiv情報

提供元, 利用サービス

arxiv.jp, Google