ChatASU: Evoking LLM’s Reflexion to Truly Understand Aspect Sentiment in Dialogues

要約

インタラクティブなシナリオ（質問応答や対話など）におけるアスペクト感情理解（ASU）は、近年ますます関心を集めており、重要な進歩を遂げています。
しかし、インタラクティブ ASU に関する既存の研究では、意見のターゲット (つまり、側面) に関する共参照の問題がほとんど無視されていますが、この現象はインタラクティブ シナリオ、特に対話において遍在しており、ASU のパフォーマンスを制限しています。
最近、大規模言語モデル (LLM) は、さまざまな NLP タスクをチャット パラダイムと統合する強力な機能を示しています。
このようにして、この論文は、対話シナリオにおけるアスペクト感情を理解するLLMの能力を調査することを目的とした、新しいチャットベースのアスペクト感情理解（ChatASU）タスクを提案します。
特に、この ChatASU タスクでは、アスペクトの相互参照の問題に対処するために、サブタスク、つまりアスペクト チェーン推論 (ACR) タスクが導入されています。
これに基づいて、ChatASU のバックボーンとして ChatGLM を使用した信頼できる自己反省アプローチ (TSA) を提案します。
具体的には、この TSA は、ACR タスクを主要な ASU タスクのパフォーマンスを向上させる補助タスクとして扱い、信頼できる学習を反射メカニズムにさらに統合して、TSA における LLM 固有の事実幻覚問題を軽減します。
さらに、高品質の ChatASU データセットには TSA を評価するためのアノテーションが付けられており、広範な実験により、私たちが提案する TSA がいくつかの最先端のベースラインを大幅に上回ることが示されており、ChatASU に対する TSA の有効性と、共参照と相互参照を考慮することの重要性が正当化されています。
ChatASU における幻覚の問題。

要約(オリジナル)

Aspect Sentiment Understanding (ASU) in interactive scenarios (e.g., Question-Answering and Dialogue) has attracted ever-more interest in recent years and achieved important progresses. However, existing studies on interactive ASU largely ignore the coreference issue for opinion targets (i.e., aspects), while this phenomenon is ubiquitous in interactive scenarios especially dialogues, limiting the ASU performance. Recently, large language models (LLMs) shows the powerful ability to integrate various NLP tasks with the chat paradigm. In this way, this paper proposes a new Chat-based Aspect Sentiment Understanding (ChatASU) task, aiming to explore LLMs’ ability in understanding aspect sentiments in dialogue scenarios. Particularly, this ChatASU task introduces a sub-task, i.e., Aspect Chain Reasoning (ACR) task, to address the aspect coreference issue. On this basis, we propose a Trusted Self-reflexion Approach (TSA) with ChatGLM as backbone to ChatASU. Specifically, this TSA treats the ACR task as an auxiliary task to boost the performance of the primary ASU task, and further integrates trusted learning into reflexion mechanisms to alleviate the LLMs-intrinsic factual hallucination problem in TSA. Furthermore, a high-quality ChatASU dataset is annotated to evaluate TSA, and extensive experiments show that our proposed TSA can significantly outperform several state-of-the-art baselines, justifying the effectiveness of TSA to ChatASU and the importance of considering the coreference and hallucination issues in ChatASU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google