EmoNet-Face: An Expert-Annotated Benchmark for Synthetic Emotion Recognition

要約

効果的な人間との相互作用は、人間の感情を正確に認識して解釈するAIの能力に依存しています。
ビジョンおよびビジョン言語モデルの現在のベンチマークは厳しく制限されており、微妙な状態（苦味、中毒など）を見下ろす狭い感情的なスペクトルを提供し、関連する感情の微妙な違いを区別できません（例：恥と恥ずかしさ）。
また、既存のデータセットは、閉塞された顔と人口統計の多様性を欠いている制御されていない画像を使用して、重要なバイアスを危険にさらします。
これらの重要なギャップに対処するために、包括的なベンチマークスイートであるEmonet Faceを紹介します。
Emonet Faceの特徴：（1）人間の感情的経験のより細かい詳細を捉えるために、基礎研究から細心の注意を払って派生した40カテゴリーの感情分類法。
（2）明示的なフルフェースの表現と、民族性、年齢、性別にわたる明示的なフルフェースの表現と制御された人口統計のバランスを備えた3つの大規模なAI生成データセット（Emonet HQ、Biry、およびBig）。
（3）トレーニングと忠実度の高い評価のための厳格なマルチ専門家の注釈。
（4）私たちは、ベンチマークで人間の専門レベルのパフォーマンスを達成するモデルである共感感の顔を構築しました。
公開されたEmonet Face Suite（分類法、データセット、モデル）は、人間の感情をより深く理解してAIシステムを開発および評価するための堅牢な基盤を提供します。

要約(オリジナル)

Effective human-AI interaction relies on AI’s ability to accurately perceive and interpret human emotions. Current benchmarks for vision and vision-language models are severely limited, offering a narrow emotional spectrum that overlooks nuanced states (e.g., bitterness, intoxication) and fails to distinguish subtle differences between related feelings (e.g., shame vs. embarrassment). Existing datasets also often use uncontrolled imagery with occluded faces and lack demographic diversity, risking significant bias. To address these critical gaps, we introduce EmoNet Face, a comprehensive benchmark suite. EmoNet Face features: (1) A novel 40-category emotion taxonomy, meticulously derived from foundational research to capture finer details of human emotional experiences. (2) Three large-scale, AI-generated datasets (EmoNet HQ, Binary, and Big) with explicit, full-face expressions and controlled demographic balance across ethnicity, age, and gender. (3) Rigorous, multi-expert annotations for training and high-fidelity evaluation. (4) We built EmpathicInsight-Face, a model achieving human-expert-level performance on our benchmark. The publicly released EmoNet Face suite – taxonomy, datasets, and model – provides a robust foundation for developing and evaluating AI systems with a deeper understanding of human emotions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google