Robust Emotion Recognition in Context Debiasing

要約

コンテキスト認識型感情認識 (CAER) は、最近、制約のない環境における感情コンピューティング技術の実用化を促進しています。
主流の CAER 手法は常に、対象者の感情状態を認識するために、多様な文脈と被験者中心の特徴からアンサンブル表現を抽出します。
進歩にもかかわらず、コンテキストバイアスの干渉による最大の課題が依然として残っています。
有害なバイアスにより、モデルは尤度推定において背景コンテキストと感情ラベルの間の偽の相関に依存することになり、深刻なパフォーマンスのボトルネックが発生し、貴重なコンテキスト事前分布が混乱します。
この論文では、上記の問題に対処するために反事実感情推論 (CLEF) フレームワークを提案します。
具体的には、まず一般化された因果関係グラフを定式化して、CAER の変数間の因果関係を分離します。
因果関係グラフに続いて、CLEF は非侵襲的なコンテキスト ブランチを導入して、コンテキスト バイアスによって引き起こされる直接的な悪影響を捕捉します。
推論中に、事実と反事実の結果を比較することによって、全体の因果効果から直接的なコンテキスト効果を排除し、その結果、バイアスが軽減され、堅牢な予測が実現します。
CLEF はモデルに依存しないフレームワークとして、既存のメソッドに容易に統合でき、一貫したパフォーマンスの向上をもたらします。

要約(オリジナル)

Context-aware emotion recognition (CAER) has recently boosted the practical applications of affective computing techniques in unconstrained environments. Mainstream CAER methods invariably extract ensemble representations from diverse contexts and subject-centred characteristics to perceive the target person’s emotional state. Despite advancements, the biggest challenge remains due to context bias interference. The harmful bias forces the models to rely on spurious correlations between background contexts and emotion labels in likelihood estimation, causing severe performance bottlenecks and confounding valuable context priors. In this paper, we propose a counterfactual emotion inference (CLEF) framework to address the above issue. Specifically, we first formulate a generalized causal graph to decouple the causal relationships among the variables in CAER. Following the causal graph, CLEF introduces a non-invasive context branch to capture the adverse direct effect caused by the context bias. During the inference, we eliminate the direct context effect from the total causal effect by comparing factual and counterfactual outcomes, resulting in bias mitigation and robust prediction. As a model-agnostic framework, CLEF can be readily integrated into existing methods, bringing consistent performance gains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google