Experimenting with Affective Computing Models in Video Interviews with Spanish-speaking Older Adults

要約

高齢者の感情的なシグナルを理解することは、彼らの幸福をサポートする仮想アシスタントを設計するために重要です。
ただし、既存の感情的なコンピューティングモデルは、しばしば大きな制限に直面しています。（1）特に英語を話す人口では、高齢者を表すデータセットの入手可能性は、（2）若いまたは均質な人口統計で訓練されたモデルの一般化が不十分です。
これらのギャップに対処するために、この研究では、人または仮想アバターのいずれかと対話する高齢者のビデオを使用して、表情表現の認識、テキスト感情分析、笑顔の検出など、最先端の感情的なコンピューティングモデルを評価します。
この取り組みの一環として、人間から人間へのビデオインタビューに従事するスペイン語を話す高齢者を特徴とする新しいデータセットを紹介します。
3つの包括的な分析を通じて、（1）ヒトが解放されたラベルと自動モデル出力とのアラインメント、（2）異なるモダリティにわたるモデル出力間の関係、および（3）感情信号の個々の変動を調査します。
Wizard of Oz（WOZ）データセットと新しく収集されたデータセットの両方を使用して、人間の注釈とモデルの予測、モダリティ全体の弱い一貫性、および個人の大幅な変動の間の限定的な一致を明らかにします。
これらの調査結果は、一般化された感情知覚モデルの欠点を強調し、個人的な変動と文化的ニュアンスを将来のシステムに組み込む必要性を強調しています。

要約(オリジナル)

Understanding emotional signals in older adults is crucial for designing virtual assistants that support their well-being. However, existing affective computing models often face significant limitations: (1) limited availability of datasets representing older adults, especially in non-English-speaking populations, and (2) poor generalization of models trained on younger or homogeneous demographics. To address these gaps, this study evaluates state-of-the-art affective computing models — including facial expression recognition, text sentiment analysis, and smile detection — using videos of older adults interacting with either a person or a virtual avatar. As part of this effort, we introduce a novel dataset featuring Spanish-speaking older adults engaged in human-to-human video interviews. Through three comprehensive analyses, we investigate (1) the alignment between human-annotated labels and automatic model outputs, (2) the relationships between model outputs across different modalities, and (3) individual variations in emotional signals. Using both the Wizard of Oz (WoZ) dataset and our newly collected dataset, we uncover limited agreement between human annotations and model predictions, weak consistency across modalities, and significant variability among individuals. These findings highlight the shortcomings of generalized emotion perception models and emphasize the need of incorporating personal variability and cultural nuances into future systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google