Towards A Robust Group-level Emotion Recognition via Uncertainty-Aware Learning

要約

グループレベルの感情認識（GER）は、人間の行動分析の分離不可能な部分であり、複数人のシーンで全体的な感情を認識することを目指しています。
ただし、既存の方法は、グループ内で発生するうっ血や閉塞など、制約のない環境での固有の不確実性を無視しながら、多様な感情の手がかりを結合することに専念しています。
さらに、グループレベルのラベルのみが利用可能であるため、1つのグループの個人間の一貫性のない感情予測は、ネットワークを混乱させることができます。
この論文では、GERのより堅牢な表現を抽出するための不確実性認識学習（UAL）方法を提案します。
各個人の不確実性を明示的にモデル化することにより、決定論的な点埋め込みではなく、ガウス分布から描かれた確率的埋め込みを利用します。
この表現は、さまざまな感情の確率をキャプチャし、推論段階でのこの確率性を通じて多様な予測を生成します。
さらに、不確実性に敏感なスコアは、各グループ内の個人の顔の融合重量として適応的に割り当てられます。
さらに、イメージ強化モジュールを開発して、重度のノイズに対するモデルの堅牢性を高めます。
顔、オブジェクト、およびシーンコンポーネントを含む全体的な3ブランチモデルは、比例した加重融合戦略に導かれ、提案された不確実性対応方法を統合して最終的なグループレベルの出力を生成します。
実験結果は、3つの広く使用されているデータベースにわたるメソッドの有効性と一般化能力を示しています。

要約(オリジナル)

Group-level emotion recognition (GER) is an inseparable part of human behavior analysis, aiming to recognize an overall emotion in a multi-person scene. However, the existing methods are devoted to combing diverse emotion cues while ignoring the inherent uncertainties under unconstrained environments, such as congestion and occlusion occurring within a group. Additionally, since only group-level labels are available, inconsistent emotion predictions among individuals in one group can confuse the network. In this paper, we propose an uncertainty-aware learning (UAL) method to extract more robust representations for GER. By explicitly modeling the uncertainty of each individual, we utilize stochastic embedding drawn from a Gaussian distribution instead of deterministic point embedding. This representation captures the probabilities of different emotions and generates diverse predictions through this stochasticity during the inference stage. Furthermore, uncertainty-sensitive scores are adaptively assigned as the fusion weights of individuals’ face within each group. Moreover, we develop an image enhancement module to enhance the model’s robustness against severe noise. The overall three-branch model, encompassing face, object, and scene component, is guided by a proportional-weighted fusion strategy and integrates the proposed uncertainty-aware method to produce the final group-level output. Experimental results demonstrate the effectiveness and generalization ability of our method across three widely used databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google