Context De-confounded Emotion Recognition

要約

Context-Aware Emotion Recognition (CAER) は、コンテキスト情報を使用して対象者の感情状態を認識することを目的とした、重要でやりがいのあるタスクです。
最近のアプローチは、洗練されたアーキテクチャまたはメカニズムを設計して、主題や文脈から一見意味のある表現を抽出することに常に重点を置いています。
ただし、長い間見過ごされてきた問題は、既存のデータセットのコンテキスト バイアスが、さまざまなコンテキスト シナリオ間で感情状態の著しく不均衡な分布につながることです。
具体的には、有害なバイアスは、従来の尤度推定に基づいて誤った相関関係を学習するように既存のモデルを誤解させ、モデルのパフォーマンスを大幅に制限する交絡因子です。
この問題に取り組むために、この論文では因果関係に基づく視点を提供して、そのようなバイアスの影響からモデルを解きほぐし、調整された因果グラフを介して CAER タスクの変数間の因果関係を定式化します。
次に、バックドア調整に基づくコンテキスト因果介入モジュール (CCIM) を提案して、交絡因子を混乱させず、モデル トレーニングの真の因果効果を活用します。
CCIM はプラグインおよびモデルに依存しないため、さまざまな最先端のアプローチが大幅に改善されます。
3 つのベンチマーク データセットでの広範な実験により、CCIM の有効性と因果的洞察の重要性が実証されました。

要約(オリジナル)

Context-Aware Emotion Recognition (CAER) is a crucial and challenging task that aims to perceive the emotional states of the target person with contextual information. Recent approaches invariably focus on designing sophisticated architectures or mechanisms to extract seemingly meaningful representations from subjects and contexts. However, a long-overlooked issue is that a context bias in existing datasets leads to a significantly unbalanced distribution of emotional states among different context scenarios. Concretely, the harmful bias is a confounder that misleads existing models to learn spurious correlations based on conventional likelihood estimation, significantly limiting the models’ performance. To tackle the issue, this paper provides a causality-based perspective to disentangle the models from the impact of such bias, and formulate the causalities among variables in the CAER task via a tailored causal graph. Then, we propose a Contextual Causal Intervention Module (CCIM) based on the backdoor adjustment to de-confound the confounder and exploit the true causal effect for model training. CCIM is plug-in and model-agnostic, which improves diverse state-of-the-art approaches by considerable margins. Extensive experiments on three benchmark datasets demonstrate the effectiveness of our CCIM and the significance of causal insight.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google