Empathy Through Multimodality in Conversational Interfaces

要約

エージェントは、大規模言語モデル (LLM) と生成 AI の最も新しいアプリケーションの 1 つであり、その有効性は、複雑なユーザー環境をナビゲートするマルチモーダル機能にかかっています。
その代表的な例である会話型ヘルス エージェント (CHA) は、テキスト分析を超えて心の知能指数を組み込んだ微妙なサポートを提供することで、ヘルスケアを再定義しています。
このペーパーでは、特にメンタルヘルス サポートの領域における、豊富でマルチモーダルな対話のために設計された LLM ベースの CHA を紹介します。
マルチモーダルな合図を分析することでユーザーの感情状態を適切に解釈して応答し、状況を認識した、共感的に共鳴する言語応答を提供します。
私たちの実装では汎用性の高い openCHA フレームワークを活用しており、包括的な評価には、悲しみ、怒り、喜びといったさまざまな感情の調子で表現された中立的なプロンプトが含​​まれます。
提案された CHA の計画能力の一貫性と再現性を評価します。
さらに、人間の評価者は CHA の共感的な提供を批判しており、調査結果では CHA の出力と評価者の評価が驚くほど一致していることが明らかになりました。
これらの結果は、CHA によって構築される共感的なつながりを強化し、インタラクティブで思いやりのあるデジタル健康ソリューションの最前線での地位を確固たるものにする上で、音声による（間もなくマルチモーダルな）感情認識が不可欠な役割を果たしているということを裏付けています。

要約(オリジナル)

Agents represent one of the most emerging applications of Large Language Models (LLMs) and Generative AI, with their effectiveness hinging on multimodal capabilities to navigate complex user environments. Conversational Health Agents (CHAs), a prime example of this, are redefining healthcare by offering nuanced support that transcends textual analysis to incorporate emotional intelligence. This paper introduces an LLM-based CHA engineered for rich, multimodal dialogue-especially in the realm of mental health support. It adeptly interprets and responds to users’ emotional states by analyzing multimodal cues, thus delivering contextually aware and empathetically resonant verbal responses. Our implementation leverages the versatile openCHA framework, and our comprehensive evaluation involves neutral prompts expressed in diverse emotional tones: sadness, anger, and joy. We evaluate the consistency and repeatability of the planning capability of the proposed CHA. Furthermore, human evaluators critique the CHA’s empathic delivery, with findings revealing a striking concordance between the CHA’s outputs and evaluators’ assessments. These results affirm the indispensable role of vocal (soon multimodal) emotion recognition in strengthening the empathetic connection built by CHAs, cementing their place at the forefront of interactive, compassionate digital health solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google