Recent Trends of Multimodal Affective Computing: A Survey from NLP Perspective

要約

マルチモーダル アフェクティブ コンピューティング (MAC) は、人間の行動や意図の分析に幅広く応用できるため、特にテキスト主体のマルチモーダル アフェクティブ コンピューティング分野で注目を集めています。
この調査では、マルチモーダル感情分析、会話におけるマルチモーダル感情認識、マルチモーダル アスペクトベース感情分析、マルチモーダル マルチラベル感情認識という 4 つの注目のタスクを通じて、NLP の観点からマルチモーダル感情コンピューティングの最近の傾向を示します。
この調査の目的は、マルチモーダル感情研究の現在の状況を調査し、開発傾向を特定し、さまざまなタスク間の類似点と相違点を強調し、NLP の観点からマルチモーダル感情コンピューティングの最近の進歩に関する包括的なレポートを提供することです。
この調査では、タスクの形式化を取り上げ、関連する作業の概要を提供し、ベンチマーク データセットについて説明し、各タスクの評価指標を詳しく説明します。
さらに、顔の表情、音響信号、生理学的信号、感情原因を含むマルチモーダル感情コンピューティングの研究についても簡単に説明します。
さらに、マルチモーダル感情コンピューティングにおける技術的アプローチ、課題、将来の方向性についても説明します。
さらなる研究を支援するために、私たちはマルチモーダル感情コンピューティングの関連研究をまとめたリポジトリをリリースし、コミュニティに詳細なリソースと参考資料を提供しました。

要約(オリジナル)

Multimodal affective computing (MAC) has garnered increasing attention due to its broad applications in analyzing human behaviors and intentions, especially in text-dominated multimodal affective computing field. This survey presents the recent trends of multimodal affective computing from NLP perspective through four hot tasks: multimodal sentiment analysis, multimodal emotion recognition in conversation, multimodal aspect-based sentiment analysis and multimodal multi-label emotion recognition. The goal of this survey is to explore the current landscape of multimodal affective research, identify development trends, and highlight the similarities and differences across various tasks, offering a comprehensive report on the recent progress in multimodal affective computing from an NLP perspective. This survey covers the formalization of tasks, provides an overview of relevant works, describes benchmark datasets, and details the evaluation metrics for each task. Additionally, it briefly discusses research in multimodal affective computing involving facial expressions, acoustic signals, physiological signals, and emotion causes. Additionally, we discuss the technical approaches, challenges, and future directions in multimodal affective computing. To support further research, we released a repository that compiles related works in multimodal affective computing, providing detailed resources and references for the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google