Large Language Models Meet Text-Centric Multimodal Sentiment Analysis: A Survey

要約

テキストのみを考慮する従来の感情分析と比較して、マルチモーダル感情分析では、マルチモーダル ソースからの感情シグナルを同時に考慮する必要があるため、現実世界のシナリオで人間が感情を処理する方法とより一貫性があります。
これには、自然言語、画像、ビデオ、オーディオ、生理学的信号などのさまざまなソースからの感情情報の処理が含まれます。ただし、他のモダリティにも多様な感情的手がかりが含まれていますが、自然言語には通常、より豊富な文脈情報が含まれているため、常に重要な位置を占めています。
マルチモーダル感情分析。
ChatGPT の出現により、大規模言語モデル (LLM) をテキスト中心のマルチモーダル タスクに適用するための計り知れない可能性が開かれました。
ただし、既存の LLM がテキスト中心のマルチモーダル感情分析タスクにどのように適応できるかはまだ不明です。
この調査の目的は、(1) テキスト中心のマルチモーダル感情分析タスクにおける最近の研究の包括的なレビューを提示すること、(2) テキスト中心のマルチモーダル感情分析における LLM の可能性を調査し、そのアプローチ、利点、限界を概説すること、(3)
) LLM ベースのマルチモーダル感情分析テクノロジーの応用シナリオを要約し、(4) 将来のマルチモーダル感情分析の課題と潜在的な研究の方向性を探ります。

要約(オリジナル)

Compared to traditional sentiment analysis, which only considers text, multimodal sentiment analysis needs to consider emotional signals from multimodal sources simultaneously and is therefore more consistent with the way how humans process sentiment in real-world scenarios. It involves processing emotional information from various sources such as natural language, images, videos, audio, physiological signals, etc. However, although other modalities also contain diverse emotional cues, natural language usually contains richer contextual information and therefore always occupies a crucial position in multimodal sentiment analysis. The emergence of ChatGPT has opened up immense potential for applying large language models (LLMs) to text-centric multimodal tasks. However, it is still unclear how existing LLMs can adapt better to text-centric multimodal sentiment analysis tasks. This survey aims to (1) present a comprehensive review of recent research in text-centric multimodal sentiment analysis tasks, (2) examine the potential of LLMs for text-centric multimodal sentiment analysis, outlining their approaches, advantages, and limitations, (3) summarize the application scenarios of LLM-based multimodal sentiment analysis technology, and (4) explore the challenges and potential research directions for multimodal sentiment analysis in the future.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google