要約
感情認識は、感情フィードバックを提供し、高度なパーソナライゼーションを可能にすることで、バーチャルリアリティ（VR）体験の評価と強化を促進します。しかし、ヘッドマウントディスプレイ(HMD)は顔の上半分を隠してしまうため、表情がユーザーの感情を認識するために使用されることはほとんどありません。この問題を解決するために、私たちは、私たちの新しい感情VRゲームEmojiHeroVRをプレイした37人の参加者を対象に研究を実施しました。収集したデータベースEmoHeVRDB（EmojiHeroVR Database）には、1,778の感情を再現した3,556のラベル付き顔画像が含まれている。各ラベル付き画像に対して、動的な表情認識（FER）を容易にするために、ラベル付き画像の前後に直接記録された29の追加フレームも提供しています。さらに、EmoHeVRDBには、各フレームのMeta Quest Pro VRヘッドセットを介してキャプチャされた63の表情の活性化に関するデータが含まれています。我々のデータベースを活用し、EfficientNet-B0アーキテクチャを使用して、6つの基本的な感情とニュートラルの静的FER分類タスクのベースライン評価を実施しました。最良のモデルはテストセットで69.84%の精度を達成し、HMDオクルージョン下でのFERは実現可能であるが、従来のFERよりもかなり困難であることを示している。
要約(オリジナル)
Emotion recognition promotes the evaluation and enhancement of Virtual Reality (VR) experiences by providing emotional feedback and enabling advanced personalization. However, facial expressions are rarely used to recognize users’ emotions, as Head-Mounted Displays (HMDs) occlude the upper half of the face. To address this issue, we conducted a study with 37 participants who played our novel affective VR game EmojiHeroVR. The collected database, EmoHeVRDB (EmojiHeroVR Database), includes 3,556 labeled facial images of 1,778 reenacted emotions. For each labeled image, we also provide 29 additional frames recorded directly before and after the labeled image to facilitate dynamic Facial Expression Recognition (FER). Additionally, EmoHeVRDB includes data on the activations of 63 facial expressions captured via the Meta Quest Pro VR headset for each frame. Leveraging our database, we conducted a baseline evaluation on the static FER classification task with six basic emotions and neutral using the EfficientNet-B0 architecture. The best model achieved an accuracy of 69.84% on the test set, indicating that FER under HMD occlusion is feasible but significantly more challenging than conventional FER.
arxiv情報
| 著者 | Thorben Ortmann,Qi Wang,Larissa Putzar |
| 発行日 | 2024-10-04 11:29:04+00:00 |
| arxivサイト | arxiv_id(pdf) |