LLM-guided Plan and Retrieval: A Strategic Alignment for Interpretable User Satisfaction Estimation in Dialogue

要約

ユーザー満足度の推定（使用）として知られる会話システムに対するユーザーの満足度を理解することは、対話の質を評価し、ユーザーエクスペリエンスを向上させるために不可欠です。
ただし、ユーザーの不満の根本的な理由とユーザーの意図への注釈の高いコストの理解が限られているため、使用する既存の方法は課題に直面しています。
これらの課題に対処するために、効果的なユーザー満足度予測のための解釈可能なフレームワークである賞賛（解釈可能な満足度推定の計画と検索の調整）を提案します。
賞賛は3つの重要なモジュールを介して機能します。
戦略プランナーは、ユーザーの満足度を分類するための自然言語基準である戦略を開発します。
その後、この機能レトリバーは、大規模な言語モデル（LLM）からのユーザー満足度に関する知識を組み込み、発話から関連機能を取得します。
最後に、スコアアナライザーは戦略の予測を評価し、ユーザーの満足度を分類します。
実験結果は、賞賛が使用タスクのために3つのベンチマークで最先端のパフォーマンスを達成することを示しています。
優れたパフォーマンスを超えて、賞賛は追加の利点を提供します。
発話と戦略と効果的な調整を通じてインスタンスレベルの説明を提供することにより、解釈可能性を向上させます。
さらに、賞賛は、推論段階でLLMSの必要性を排除することにより、既存のアプローチよりも効率的に機能します。

要約(オリジナル)

Understanding user satisfaction with conversational systems, known as User Satisfaction Estimation (USE), is essential for assessing dialogue quality and enhancing user experiences. However, existing methods for USE face challenges due to limited understanding of underlying reasons for user dissatisfaction and the high costs of annotating user intentions. To address these challenges, we propose PRAISE (Plan and Retrieval Alignment for Interpretable Satisfaction Estimation), an interpretable framework for effective user satisfaction prediction. PRAISE operates through three key modules. The Strategy Planner develops strategies, which are natural language criteria for classifying user satisfaction. The Feature Retriever then incorporates knowledge on user satisfaction from Large Language Models (LLMs) and retrieves relevance features from utterances. Finally, the Score Analyzer evaluates strategy predictions and classifies user satisfaction. Experimental results demonstrate that PRAISE achieves state-of-the-art performance on three benchmarks for the USE task. Beyond its superior performance, PRAISE offers additional benefits. It enhances interpretability by providing instance-level explanations through effective alignment of utterances with strategies. Moreover, PRAISE operates more efficiently than existing approaches by eliminating the need for LLMs during the inference phase.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google