‘Stupid robot, I want to speak to a human!’ User Frustration Detection in Task-Oriented Dialog Systems

要約

最新のタスク指向ダイアログ (TOD) システムにおけるユーザーのフラストレーションを検出することは、全体的なユーザーの満足度、エンゲージメント、維持率を維持するために不可欠です。
ただし、最近の研究のほとんどは学術環境におけるセンチメントと感情の検出に焦点を当てているため、現実世界のユーザー データの意味を完全にカプセル化できていません。
このギャップを軽減するために、この研究では、導入された TOD システムにおけるユーザーのフラストレーションに焦点を当て、ユーザーのフラストレーションを検出するためのすぐに使えるソリューションの実現可能性を評価しました。
具体的には、導入したキーワードベースのアプローチ、センチメント分析に対するオープンソースのアプローチ、ダイアログブレイクダウン検出方法、および新たなインコンテキスト学習 LLM ベースの検出のパフォーマンスを比較します。
私たちの分析では、現実世界のフラストレーション検出におけるオープンソース手法の限界を浮き彫りにする一方、LLM ベースのアプローチの優れたパフォーマンスを実証し、内部ベンチマークで F1 スコアの 16\% の相対的な改善を達成しました。
最後に、私たちの方法の利点と限界を分析し、業界の実務者向けにユーザーのフラストレーション検出タスクに関する洞察を提供します。

要約(オリジナル)

Detecting user frustration in modern-day task-oriented dialog (TOD) systems is imperative for maintaining overall user satisfaction, engagement, and retention. However, most recent research is focused on sentiment and emotion detection in academic settings, thus failing to fully encapsulate implications of real-world user data. To mitigate this gap, in this work, we focus on user frustration in a deployed TOD system, assessing the feasibility of out-of-the-box solutions for user frustration detection. Specifically, we compare the performance of our deployed keyword-based approach, open-source approaches to sentiment analysis, dialog breakdown detection methods, and emerging in-context learning LLM-based detection. Our analysis highlights the limitations of open-source methods for real-world frustration detection, while demonstrating the superior performance of the LLM-based approach, achieving a 16\% relative improvement in F1 score on an internal benchmark. Finally, we analyze advantages and limitations of our methods and provide an insight into user frustration detection task for industry practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google