Empathic Grounding: Explorations using Multimodal Interaction and Large Language Models with Conversational Agents

要約

我々は、会話におけるグラウンディングのクラークの概念化の拡張として、会話エージェントに「共感的グラウンディング」の概念を導入します。この概念では、グラウンディング基準には話者の感情状態に対する聞き手の共感が含まれます。
共感的グラウンディングは一般に、話者の感情が前面に出ている場合には必ず必要であり、命題と感情の両方の理解を伝えることで、グラウンディングのプロセスをより効率的かつ信頼できるものにすることができます。
話し手の感情表現と聞き手の共感的グラウンディングはどちらも、顔の表情やその他の非言語的表示を含めて、マルチモーダルになる可能性があります。
したがって、身体化されたエージェントの共感的グラウンディングのモデルは、自然で効率的なコミュニケーションを促進するためにマルチモーダルである必要があります。
ユーザーの音声と表情を入力として受け取り、大規模な言語モデルを使用して聞いているエージェントに対してマルチモーダルなグラウンディング動作を生成するマルチモーダル モデルについて説明します。
また、共感的グラウンディングへのアプローチを評価するためのテストベッドについても説明します。このテストベッドでは、人型ロボットが過去の痛みのエピソードについてユーザーにインタビューし、ロボットの共感に対する認識をユーザーに評価してもらいます。
私たちが提案したモデルを、被験者間の実験で非感情的なグラウンディングキューのみを生成するモデルと比較します。
調査結果は、共感的グラウンディングにより、共感、理解、感情的知性、信頼に関するユーザーの認識が向上することを示しています。
私たちの研究は、会話エージェントに適切なグラウンディング動作を生成する際の感情認識とマルチモダリティの役割を強調しています。

要約(オリジナル)

We introduce the concept of ‘empathic grounding’ in conversational agents as an extension of Clark’s conceptualization of grounding in conversation in which the grounding criterion includes listener empathy for the speaker’s affective state. Empathic grounding is generally required whenever the speaker’s emotions are foregrounded and can make the grounding process more efficient and reliable by communicating both propositional and affective understanding. Both speaker expressions of affect and listener empathic grounding can be multimodal, including facial expressions and other nonverbal displays. Thus, models of empathic grounding for embodied agents should be multimodal to facilitate natural and efficient communication. We describe a multimodal model that takes as input user speech and facial expression to generate multimodal grounding moves for a listening agent using a large language model. We also describe a testbed to evaluate approaches to empathic grounding, in which a humanoid robot interviews a user about a past episode of pain and then has the user rate their perception of the robot’s empathy. We compare our proposed model to one that only generates non-affective grounding cues in a between-subjects experiment. Findings demonstrate that empathic grounding increases user perceptions of empathy, understanding, emotional intelligence, and trust. Our work highlights the role of emotion awareness and multimodality in generating appropriate grounding moves for conversational agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google