MERCI: Multimodal Emotional and peRsonal Conversational Interactions Dataset

要約

私たちの日常生活への会話エージェントの統合はますます一般的になっていますが、これらのエージェントの多くは人間との深い相互作用に従事することはできません。
それにもかかわらず、人間とロボットの相互作用の対話からマルチモーダル情報をキャプチャするデータセットの顕著な不足があります。
このギャップに対処するために、豊富な具体化された相互作用データを含む新しいマルチモーダルデータセット（Merci）を記録しました。
このプロセスには、参加者にアンケートに記入し、趣味やお気に入りの音楽などの10のトピックに関するプロファイルを収集するように求めることが含まれていました。
その後、ロボットと参加者の間の会話を開始し、GPT-4を活用して、顔の表現認識と感情分析によって決定されるように、参加者のプロファイルと感情状態に基づいて文脈的に適切な応答を生成しました。
収集されたデータの全体的な品質を評価するために、自動およびユーザー評価が実施されました。
両方の評価の結果は、会話における高レベルの自然性、エンゲージメント、流encyさ、一貫性、および関連性と、共感的な反応を提供するロボットの能力を示しています。
データセットは、個人情報を提供し、実際の感情を伝えた参加者が関与するロボットとの本物の相互作用から派生していることは注目に値します。

要約(オリジナル)

The integration of conversational agents into our daily lives has become increasingly common, yet many of these agents cannot engage in deep interactions with humans. Despite this, there is a noticeable shortage of datasets that capture multimodal information from human-robot interaction dialogues. To address this gap, we have recorded a novel multimodal dataset (MERCI) that encompasses rich embodied interaction data. The process involved asking participants to complete a questionnaire and gathering their profiles on ten topics, such as hobbies and favorite music. Subsequently, we initiated conversations between the robot and the participants, leveraging GPT-4 to generate contextually appropriate responses based on the participant’s profile and emotional state, as determined by facial expression recognition and sentiment analysis. Automatic and user evaluations were conducted to assess the overall quality of the collected data. The results of both evaluations indicated a high level of naturalness, engagement, fluency, consistency, and relevance in the conversation, as well as the robot’s ability to provide empathetic responses. It is worth noting that the dataset is derived from genuine interactions with the robot, involving participants who provided personal information and conveyed actual emotions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google