Towards Intercultural Affect Recognition: Audio-Visual Affect Recognition in the Wild Across Six Cultures

要約

私たちの多文化の世界では、人間をサポートする感情認識 AI システムには、文化を超えた感情表現パターンのバリエーション全体で感情を知覚する能力が必要です。
これらのシステムは、モデルのトレーニングに使用できる注釈付きの影響データセットがなくても、文化的なコンテキストで適切に機能する必要があります。
アフェクティブ コンピューティングの標準的な仮定は、同じ文化内 (文化内) でトレーニングおよび使用される影響認識モデルは、ある文化でトレーニングされ、異なる文化 (異文化間) で使用されるモデルよりも優れたパフォーマンスを発揮するというものです。
この仮定をテストし、6 つの文化からの実世界の 2 者間の相互作用のビデオを使用して、異文化間の影響認識モデルの最初の体系的な研究を提示します。
異文化間影響認識モデルで活用できる行動の手がかりを特定するために、時間的な因果関係の発見の下で注意ベースの機能選択アプローチを開発します。
6 つの文化すべてにおいて、異文化間の影響認識モデルが文化内モデルと同等かそれ以上に効果的であったことが、調査結果によって示されています。
異文化間の影響認識に役立つ行動特性を特定し、貢献します。
この研究の文脈では、視覚的モダリティからの顔の特徴は、聴覚的モダリティよりも有用でした。
私たちの論文は、異文化間影響認識システムの将来の開発、特に注釈付きデータなしでリソースが少ない状況で展開されるシステムの概念実証と動機を提示します。

要約(オリジナル)

In our multicultural world, affect-aware AI systems that support humans need the ability to perceive affect across variations in emotion expression patterns across cultures. These systems must perform well in cultural contexts without annotated affect datasets available for training models. A standard assumption in affective computing is that affect recognition models trained and used within the same culture (intracultural) will perform better than models trained on one culture and used on different cultures (intercultural). We test this assumption and present the first systematic study of intercultural affect recognition models using videos of real-world dyadic interactions from six cultures. We develop an attention-based feature selection approach under temporal causal discovery to identify behavioral cues that can be leveraged in intercultural affect recognition models. Across all six cultures, our findings demonstrate that intercultural affect recognition models were as effective or more effective than intracultural models. We identify and contribute useful behavioral features for intercultural affect recognition; facial features from the visual modality were more useful than the audio modality in this study’s context. Our paper presents a proof-of-concept and motivation for the future development of intercultural affect recognition systems, especially those deployed in low-resource situations without annotated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google