VisioPhysioENet: Multimodal Engagement Detection using Visual and Physiological Signals

要約

この論文では、視覚的な合図と生理学的信号を活用して学習者の関与を検出する新しいマルチモーダル システムである VisioPhysioENet について説明します。
顔のランドマーク抽出には Dlib ライブラリを使用し、さらなる推定には OpenCV ライブラリを使用して、視覚特徴抽出に 2 レベルのアプローチを採用しています。
これは、心血管活動を評価するために皮膚に直交する平面法を使用して生理学的信号を抽出することによって補完されます。
これらの機能は高度な機械学習分類器を使用して統合されており、さまざまなエンゲージメント レベルの検出が強化されています。
私たちは DAiSEE データセットで VisioPhysioENet を厳密に評価し、63.09% の精度を達成し、既存の方法論と比較してさまざまなレベルのエンゲージメントを識別する優れた能力を実証しています。
提案されたシステムのコードは、https://github.com/MIntelligence-Group/VisioPhysioENet からアクセスできます。

要約(オリジナル)

This paper presents VisioPhysioENet, a novel multimodal system that leverages visual cues and physiological signals to detect learner engagement. It employs a two-level approach for visual feature extraction using the Dlib library for facial landmark extraction and the OpenCV library for further estimations. This is complemented by extracting physiological signals using the plane-orthogonal-to-skin method to assess cardiovascular activity. These features are integrated using advanced machine learning classifiers, enhancing the detection of various engagement levels. We rigorously evaluate VisioPhysioENet on the DAiSEE dataset, where it achieves an accuracy of 63.09%, demonstrating a superior ability to discern various levels of engagement compared to existing methodologies. The proposed system’s code can be accessed at https://github.com/MIntelligence-Group/VisioPhysioENet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google