Towards A Robust Group-level Emotion Recognition via Uncertainty-Aware Learning

要約

グループレベルの感情認識 (GER) は、人間の行動分析に切り離せない部分であり、複数人のシーンで全体的な感情を認識することを目的としています。
しかし、既存の手法は、グループ内で発生する輻輳や閉塞など、制約のない環境下で固有の不確実性を無視しながら、多様な感情の手がかりを精査することに専念しています。
さらに、グループ レベルのラベルしか利用できないため、1 つのグループ内の個人間の感情予測に一貫性がない場合、ネットワークが混乱する可能性があります。
この論文では、GER のより堅牢な表現を抽出するための不確実性認識学習 (UAL) 手法を提案します。
各個人の不確実性を明示的にモデル化することにより、決定論的な点埋め込みの代わりにガウス分布から得られる確率的埋め込みを利用します。
この表現はさまざまな感情の確率を捉え、推論段階でこの確率論を通じて多様な予測を生成します。
さらに、不確実性に敏感なスコアが、各グループ内の個人の顔の融合重みとして適応的に割り当てられます。
さらに、深刻なノイズに対するモデルの堅牢性を強化する画像強化モジュールを開発します。
顔、物体、シーンのコンポーネントを含む全体的な 3 分岐モデルは、比例重み付け融合戦略によって導かれ、提案された不確実性を考慮した手法を統合して、最終的なグループレベルの出力を生成します。
実験結果は、広く使用されている 3 つのデータベースにわたる私たちの方法の有効性と一般化能力を示しています。

要約(オリジナル)

Group-level emotion recognition (GER) is an inseparable part of human behavior analysis, aiming to recognize an overall emotion in a multi-person scene. However, the existing methods are devoted to combing diverse emotion cues while ignoring the inherent uncertainties under unconstrained environments, such as congestion and occlusion occurring within a group. Additionally, since only group-level labels are available, inconsistent emotion predictions among individuals in one group can confuse the network. In this paper, we propose an uncertainty-aware learning (UAL) method to extract more robust representations for GER. By explicitly modeling the uncertainty of each individual, we utilize stochastic embedding drawn from a Gaussian distribution instead of deterministic point embedding. This representation captures the probabilities of different emotions and generates diverse predictions through this stochasticity during the inference stage. Furthermore, uncertainty-sensitive scores are adaptively assigned as the fusion weights of individuals’ face within each group. Moreover, we develop an image enhancement module to enhance the model’s robustness against severe noise. The overall three-branch model, encompassing face, object, and scene component, is guided by a proportional-weighted fusion strategy and integrates the proposed uncertainty-aware method to produce the final group-level output. Experimental results demonstrate the effectiveness and generalization ability of our method across three widely used databases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google