VRMN-bD: A Multi-modal Natural Behavior Dataset of Immersive Human Fear Responses in VR Stand-up Interactive Games

要約

感情の理解と認識は、メタバース時代において重要かつ困難な問題です。
仮想現実 (VR) 環境における人間の基本的な感情の 1 つである恐怖を理解、特定、予測することは、没入型ゲーム開発、シーン開発、および次世代の仮想人間とコンピューターのインタラクション アプリケーションにおいて重要な役割を果たします。
この記事では、VR ホラー ゲームを媒体として使用し、23 人のプレイヤーからマルチモーダル データ (姿勢、音声、生理学的信号) を収集することで恐怖感情を分析しました。
LSTM ベースのモデルを使用して、6 レベル分類 (恐怖なしと 5 つの異なる恐怖レベル) および 2 レベル分類 (恐怖なしと恐怖) でそれぞれ 65.31% と 90.47% の精度で恐怖を予測しました。
私たちは、人間の没入型恐怖反応のマルチモーダル自然行動データセット (VRMN-bD) を構築し、それを既存の関連する高度なデータセットと比較しました。
結果は、私たちのデータセットには、収集方法、データ規模、対象範囲に関する制限が少ないことを示しています。
私たちは、VR スタンドアップ インタラクティブ環境における恐怖と行動のマルチモーダル データセットをターゲットにする点で、独自かつ先進的です。
さらに、この取り組みがコミュニティやアプリケーションに与える影響についても議論しました。
データセットと事前トレーニングされたモデルは、https://github.com/KindOPSTAR/VRMN-bD で入手できます。

要約(オリジナル)

Understanding and recognizing emotions are important and challenging issues in the metaverse era. Understanding, identifying, and predicting fear, which is one of the fundamental human emotions, in virtual reality (VR) environments plays an essential role in immersive game development, scene development, and next-generation virtual human-computer interaction applications. In this article, we used VR horror games as a medium to analyze fear emotions by collecting multi-modal data (posture, audio, and physiological signals) from 23 players. We used an LSTM-based model to predict fear with accuracies of 65.31% and 90.47% under 6-level classification (no fear and five different levels of fear) and 2-level classification (no fear and fear), respectively. We constructed a multi-modal natural behavior dataset of immersive human fear responses (VRMN-bD) and compared it with existing relevant advanced datasets. The results show that our dataset has fewer limitations in terms of collection method, data scale and audience scope. We are unique and advanced in targeting multi-modal datasets of fear and behavior in VR stand-up interactive environments. Moreover, we discussed the implications of this work for communities and applications. The dataset and pre-trained model are available at https://github.com/KindOPSTAR/VRMN-bD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google