MMME: A Spontaneous Multi-Modal Micro-Expression Dataset Enabling Visual-Physiological Fusion

要約

マイクロ発現（ME）は、個人の真の感情的状態を明らかにする微妙でつかの間の非言語的手がかりです。
彼らの分析は、ヘルスケア、犯罪捜査、人間のコンピューターの相互作用などの分野での有望なアプリケーションのために、かなりの関心を集めています。
しかし、既存のME研究は単一の視覚的モダリティに限定されており、他の生理学的モダリティによって伝えられた豊かな感情情報を見落とし、MEの認識と実用的なアプリケーションのニーズをはるかに下回るパフォーマンスを発見します。
したがって、MEの視覚的特徴と生理学的シグナル（PS）の間のクロスモーダル関連メカニズムを調査し、マルチモーダル融合フレームワークの開発は、ME分析を進めるための極めて重要なステップを表しています。
この研究では、新しいMEデータセットであるMMMEを紹介します。これは、初めて、顔の行動信号（MES）、中枢神経系シグナル（EEG）、および末梢PS（PPG、RSP、SKT、EDA、およびECG）の同期コレクションを可能にします。
既存のMEコーパスの制約を克服することにより、MMMEは634 MES、2,841マクロ発現（MAES）、および同期されたマルチモーダルPSの2,890回の試験で構成され、MEニューラルメカニズムを調査し、マルチモーダル融合ベースの分析を実施するための堅牢な基盤を確立します。
広範な実験では、データセットの信頼性を検証し、ME分析にベンチマークを提供し、MESとPSを統合することで認識とスポッティングのパフォーマンスが大幅に向上することを示しています。
私たちの知る限り、MMMEは、モダリティの多様性の観点から、これまでで最も包括的なMEデータセットです。
MESの神経メカニズムを調査し、視覚生理学的相乗効果を明らかにするための重要なデータサポートを提供し、ME研究のパラダイムシフトを単一モダリティの視覚分析からマルチモーダル融合に駆り立てます。
データセットは、このペーパーを受け入れると公開されます。

要約(オリジナル)

Micro-expressions (MEs) are subtle, fleeting nonverbal cues that reveal an individual’s genuine emotional state. Their analysis has attracted considerable interest due to its promising applications in fields such as healthcare, criminal investigation, and human-computer interaction. However, existing ME research is limited to single visual modality, overlooking the rich emotional information conveyed by other physiological modalities, resulting in ME recognition and spotting performance far below practical application needs. Therefore, exploring the cross-modal association mechanism between ME visual features and physiological signals (PS), and developing a multimodal fusion framework, represents a pivotal step toward advancing ME analysis. This study introduces a novel ME dataset, MMME, which, for the first time, enables synchronized collection of facial action signals (MEs), central nervous system signals (EEG), and peripheral PS (PPG, RSP, SKT, EDA, and ECG). By overcoming the constraints of existing ME corpora, MMME comprises 634 MEs, 2,841 macro-expressions (MaEs), and 2,890 trials of synchronized multimodal PS, establishing a robust foundation for investigating ME neural mechanisms and conducting multimodal fusion-based analyses. Extensive experiments validate the dataset’s reliability and provide benchmarks for ME analysis, demonstrating that integrating MEs with PS significantly enhances recognition and spotting performance. To the best of our knowledge, MMME is the most comprehensive ME dataset to date in terms of modality diversity. It provides critical data support for exploring the neural mechanisms of MEs and uncovering the visual-physiological synergistic effects, driving a paradigm shift in ME research from single-modality visual analysis to multimodal fusion. The dataset will be publicly available upon acceptance of this paper.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google