EmpathicStories++: A Multimodal Dataset for Empathy towards Personal Experiences

要約

共感のモデル化は、人間の相互作用の対人的および経験的な側面に根ざした複雑な取り組みであり、AI 内で未解決の問題のままです。
既存の共感データセットは、共感反応の豊かさを捉えるには不十分であり、多くの場合、研究室内または実際に行われたシナリオに限定され、長期的なデータが欠如し、自己報告されたラベルが欠落しています。
個人的な経験を共有する際の共感のための新しいマルチモーダル データセットを導入します。これには、脆弱性を共有する 41 人の参加者の 53 時間分のビデオ、音声、およびテキスト データが含まれる EmpathyStories++ データセット (https://mitmedialab.github.io/empathy-stories-multimodal/) が含まれます。
AI エージェントと一緒に経験を積んだり、共感を呼ぶ物語を読んだりすることができます。
EmpathyStories++ は、共感に関する初の縦断的データセットであり、参加者が AI エージェントと自然で共感的なストーリーテリングの対話を行う中で、参加者の自宅にソーシャル ロボットを 1 か月間展開して収集されました。
次に、参加者自身が共有する個人的な物語の文脈と、参加者が読んだ物語についての感想という 2 つの文脈で評価される、個人の経験に基づいて、他人の物語に対する個人の共感を予測するという新しいタスクを導入します。
私たちは、最先端のモデルを使用してこのタスクのベンチマークを行い、状況に応じた長期的な共感モデリングの将来の改善への道を切り開きます。
私たちの研究は、共感 AI システムを開発し、本物の現実世界の設定における人間の共感の複雑さを理解するためのさらなる研究のための貴重なリソースを提供します。

要約(オリジナル)

Modeling empathy is a complex endeavor that is rooted in interpersonal and experiential dimensions of human interaction, and remains an open problem within AI. Existing empathy datasets fall short in capturing the richness of empathy responses, often being confined to in-lab or acted scenarios, lacking longitudinal data, and missing self-reported labels. We introduce a new multimodal dataset for empathy during personal experience sharing: the EmpathicStories++ dataset (https://mitmedialab.github.io/empathic-stories-multimodal/) containing 53 hours of video, audio, and text data of 41 participants sharing vulnerable experiences and reading empathically resonant stories with an AI agent. EmpathicStories++ is the first longitudinal dataset on empathy, collected over a month-long deployment of social robots in participants’ homes, as participants engage in natural, empathic storytelling interactions with AI agents. We then introduce a novel task of predicting individuals’ empathy toward others’ stories based on their personal experiences, evaluated in two contexts: participants’ own personal shared story context and their reflections on stories they read. We benchmark this task using state-of-the-art models to pave the way for future improvements in contextualized and longitudinal empathy modeling. Our work provides a valuable resource for further research in developing empathetic AI systems and understanding the intricacies of human empathy within genuine, real-world settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google