Towards a Multidimensional Evaluation Framework for Empathetic Conversational Systems

要約

共感会話システム (ECS) は、アプリケーション ドメインに関係なく、ユーザーの感情やセンチメントに共感的に応答するように構築されています。
現在の ECS 研究の評価アプローチは、主にゴールド スタンダードの比較とベンチマークを目的としたオフライン評価実験と、特定の構成要素について人間による評価を収集するためのユーザー評価研究に限定されています。
これらの方法は、会話における共感の実際の質を測定するには不十分です。
この論文では、(i) 共感に関連する 3 つの次元を使用した構造レベル、(ii) 共感行動タイプを使用した行動レベル、および (iii) 共感を使用した全体レベルで共感を測定するための 3 つの新しい方法を備えた多次元共感評価フレームワークを提案します。
これにより、評価プロセスが強化されます。
フレームワークの有用性を示すために、最先端の ECS モデルと大規模言語モデル (LLM) を使用して実験が行われました。

要約(オリジナル)

Empathetic Conversational Systems (ECS) are built to respond empathetically to the user’s emotions and sentiments, regardless of the application domain. Current ECS studies evaluation approaches are restricted to offline evaluation experiments primarily for gold standard comparison & benchmarking, and user evaluation studies for collecting human ratings on specific constructs. These methods are inadequate in measuring the actual quality of empathy in conversations. In this paper, we propose a multidimensional empathy evaluation framework with three new methods for measuring empathy at (i) structural level using three empathy-related dimensions, (ii) behavioral level using empathy behavioral types, and (iii) overall level using an empathy lexicon, thereby fortifying the evaluation process. Experiments were conducted with the state-of-the-art ECS models and large language models (LLMs) to show the framework’s usefulness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google