Occlusion Aware Student Emotion Recognition based on Facial Action Unit Detection

要約

米国の単科大学の科学、技術、工学、数学 (STEM) 学部生の約半数が 1 年生の終わりまでに退学していることを考えると [15]、教室環境の質を向上させることが重要です。
この研究は、教室での生徒の関与の指標として生徒の感情をモニタリングすることに焦点を当てており、この問題に対処するアプローチを提案しています。
さまざまな顔のパーツが感情認識モデルのパフォーマンスに与える影響は、実験を通じて評価されます。
部分オクルージョンの下で提案されたモデルをテストするために、人工的にオクルージョンされたデータセットが導入されます。
この研究の新規性は、注意メカニズムと適応特徴学習を採用した、顔動作ユニット (AU) 抽出のためのオクルージョン認識アーキテクチャの提案にあります。
AU は、後で教室設定で顔の表情を分類するために使用できます。
この研究論文の結果は、感情関与分析のために顔画像を分析する際のオクルージョンの処理に関する貴重な洞察を提供します。
提案された実験は、教室環境においてオクルージョンを考慮し、顔分析モデルの信頼性を高めることの重要性を実証しています。
これらの発見は、咬合が蔓延している他の環境にも拡張できます。

要約(オリジナル)

Given that approximately half of science, technology, engineering, and mathematics (STEM) undergraduate students in U.S. colleges and universities leave by the end of the first year [15], it is crucial to improve the quality of classroom environments. This study focuses on monitoring students’ emotions in the classroom as an indicator of their engagement and proposes an approach to address this issue. The impact of different facial parts on the performance of an emotional recognition model is evaluated through experimentation. To test the proposed model under partial occlusion, an artificially occluded dataset is introduced. The novelty of this work lies in the proposal of an occlusion-aware architecture for facial action units (AUs) extraction, which employs attention mechanism and adaptive feature learning. The AUs can be used later to classify facial expressions in classroom settings. This research paper’s findings provide valuable insights into handling occlusion in analyzing facial images for emotional engagement analysis. The proposed experiments demonstrate the significance of considering occlusion and enhancing the reliability of facial analysis models in classroom environments. These findings can also be extended to other settings where occlusions are prevalent.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google