PanoSent: A Panoptic Sextuple Extraction Benchmark for Multimodal Conversational Aspect-based Sentiment Analysis

要約

既存のアスペクトベースの感情分析（ABSA）は広範な努力と進歩を受けてきましたが、マルチモダリティ、会話のコンテキスト、細かい粒度をシームレスに統合し、認知だけでなく変化する感情のダイナミクスもカバーする、より全体的な研究目標を定義するにはまだギャップがあります。
因果関係の根拠。
この論文は、マルチモーダル会話型 ABSA を導入することでギャップを埋めます。そこでは 2 つの新しいサブタスクが提案されています。 1) パノラマ感情 6 要素抽出。マルチターン、マルチパーティ、マルチモーダル対話からホルダー、ターゲット、側面、意見、センチメント、理論的根拠をパノラマ的に認識します。
2) 感情反転分析。因果関係のある会話全体にわたる動的な感情の変化を検出します。
タスクのベンチマークを行うために、手動および自動の両方でアノテーションが付けられたデータセットである PanoSent を構築します。このデータセットは、高品質、大規模、マルチモダリティ、多言語対応、マルチシナリオを特徴としており、暗黙的感情要素と明示的感情要素の両方をカバーしています。
このタスクに効果的に対処するために、私たちは、新しいマルチモーダル大規模言語モデル (つまり Sentica) および言い換えベースの検証メカニズムとともに、新しい感情連鎖推論フレームワークを考案しました。
広範な評価により、強力なベースラインに対する当社の方法の優位性が実証され、提案されたすべての方法の有効性が検証されます。
この取り組みは ABSA コミュニティに新しい時代を切り開くことが期待されているため、すべてのコードとデータは https://PanoSent.github.io/ で公開されています。

要約(オリジナル)

While existing Aspect-based Sentiment Analysis (ABSA) has received extensive effort and advancement, there are still gaps in defining a more holistic research target seamlessly integrating multimodality, conversation context, fine-granularity, and also covering the changing sentiment dynamics as well as cognitive causal rationales. This paper bridges the gaps by introducing a multimodal conversational ABSA, where two novel subtasks are proposed: 1) Panoptic Sentiment Sextuple Extraction, panoramically recognizing holder, target, aspect, opinion, sentiment, rationale from multi-turn multi-party multimodal dialogue. 2) Sentiment Flipping Analysis, detecting the dynamic sentiment transformation throughout the conversation with the causal reasons. To benchmark the tasks, we construct PanoSent, a dataset annotated both manually and automatically, featuring high quality, large scale, multimodality, multilingualism, multi-scenarios, and covering both implicit and explicit sentiment elements. To effectively address the tasks, we devise a novel Chain-of-Sentiment reasoning framework, together with a novel multimodal large language model (namely Sentica) and a paraphrase-based verification mechanism. Extensive evaluations demonstrate the superiority of our methods over strong baselines, validating the efficacy of all our proposed methods. The work is expected to open up a new era for the ABSA community, and thus all our codes and data are open at https://PanoSent.github.io/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google