A Survey on Facial Expression Recognition of Static and Dynamic Emotions

要約

表情認識 (FER) は、静止画像と動的なシーケンスから感情状態を分析することを目的としています。これは、AI テクノロジーを活用して、人間、ロボット、デジタル アバター間の擬人化コミュニケーションを強化する上で極めて重要です。
FER 分野が管理された実験室環境からより複雑な野外シナリオに進化するにつれて、高度な手法が急速に開発され、FER の既存のレビューでは十分に対処されていない新たな課題やアプローチに直面しています。
このペーパーでは、画像ベースの静的 FER (SFER) 手法とビデオベースの動的 FER (DFER) 手法の両方の包括的な調査を提供し、モデル指向の開発から課題に焦点を当てた分類まで分析します。
まず、最近のレビューの重要な比較、一般的なデータセットと評価基準の紹介、および堅牢な研究基盤を確立するための FER に関する詳細なワークフローを説明します。
次に、SFER の 8 つの主要な課題 (表情の乱れ、不確実性、複合感情、領域間の不一致など) と DFER の 7 つの主要な課題 (キーフレームのサンプリング、表情の強さの変動、クロスドメインの不一致など) に対処する代表的なアプローチを系統的にレビューします。
-モーダルアライメント)。
さらに、最近の進歩、ベンチマークパフォーマンス、主要なアプリケーション、倫理的考慮事項を分析します。
最後に、進行中の研究の指針となる 5 つの有望な将来の方向性と開発トレンドを提案します。
この論文のプロジェクト ページは、https://github.com/wangyanckxx/SurveyFER にあります。

要約(オリジナル)

Facial expression recognition (FER) aims to analyze emotional states from static images and dynamic sequences, which is pivotal in enhancing anthropomorphic communication among humans, robots, and digital avatars by leveraging AI technologies. As the FER field evolves from controlled laboratory environments to more complex in-the-wild scenarios, advanced methods have been rapidly developed and new challenges and apporaches are encounted, which are not well addressed in existing reviews of FER. This paper offers a comprehensive survey of both image-based static FER (SFER) and video-based dynamic FER (DFER) methods, analyzing from model-oriented development to challenge-focused categorization. We begin with a critical comparison of recent reviews, an introduction to common datasets and evaluation criteria, and an in-depth workflow on FER to establish a robust research foundation. We then systematically review representative approaches addressing eight main challenges in SFER (such as expression disturbance, uncertainties, compound emotions, and cross-domain inconsistency) as well as seven main challenges in DFER (such as key frame sampling, expression intensity variations, and cross-modal alignment). Additionally, we analyze recent advancements, benchmark performances, major applications, and ethical considerations. Finally, we propose five promising future directions and development trends to guide ongoing research. The project page for this paper can be found at https://github.com/wangyanckxx/SurveyFER.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google