Dynamic Modality and View Selection for Multimodal Emotion Recognition with Missing Modalities

要約

人間の感情の研究は、伝統的に心理学や神経科学などの分野の基礎でしたが、人工知能 (AI) の出現によって大きな影響を受けています。
人間の感情を理解するには、音声 (音声) や表情 (画像) などの複数のチャネルが重要です。
ただし、マルチモーダル感情認識 (MER) における AI の歩みには、大きな技術的課題がつきものです。
大きなハードルの 1 つは、現実の状況で頻繁に発生する特定のモダリティの欠如を AI モデルがどのように管理するかです。
この研究の中心的な焦点は、1 つのモダリティの欠如に直面したときの 2 つの戦略、つまり新しいマルチモーダル動的モダリティとビュー選択、およびクロスアテンション メカニズムのパフォーマンスと回復力を評価することです。
RECOLA データセットの結果は、動的選択ベースの手法が MER にとって有望なアプローチであることを示しています。
欠落モダリティのシナリオでは、すべての動的選択ベースのメソッドがベースラインを上回りました。
この研究は、感情予測におけるオーディオとビデオのモダリティ間の複雑な相互作用を強調し、欠落しているモダリティの処理における動的選択手法の適応性を示して結論づけています。

要約(オリジナル)

The study of human emotions, traditionally a cornerstone in fields like psychology and neuroscience, has been profoundly impacted by the advent of artificial intelligence (AI). Multiple channels, such as speech (voice) and facial expressions (image), are crucial in understanding human emotions. However, AI’s journey in multimodal emotion recognition (MER) is marked by substantial technical challenges. One significant hurdle is how AI models manage the absence of a particular modality – a frequent occurrence in real-world situations. This study’s central focus is assessing the performance and resilience of two strategies when confronted with the lack of one modality: a novel multimodal dynamic modality and view selection and a cross-attention mechanism. Results on the RECOLA dataset show that dynamic selection-based methods are a promising approach for MER. In the missing modalities scenarios, all dynamic selection-based methods outperformed the baseline. The study concludes by emphasizing the intricate interplay between audio and video modalities in emotion prediction, showcasing the adaptability of dynamic selection methods in handling missing modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google