PERCY: A Multimodal Dataset and Conversational System for Personalized and Emotionally Aware Human-Robot Interaction

要約

会話型エージェントが私たちの日常生活に組み込まれることはますます一般的になってきていますが、これらのエージェントの多くは人間と深い対話を行うことができません。
それにもかかわらず、人間とロボットの対話からマルチモーダルな情報を取得するデータセットが著しく不足しています。
このギャップに対処するために、私たちはパーソナル感情ロボット会話システム (PERCY) を開発し、豊富な具体化されたインタラクション データを含む新しいマルチモーダル データセットを記録しました。
このプロセスでは、参加者にアンケートに回答してもらい、趣味や好きな音楽など 10 のトピックについてプロフィールを収集しました。
続いて、GPT-4 を活用してロボットと参加者の間で会話を開始し、表情認識と感情分析によって判断された参加者のプロフィールと感情状態に基づいて状況に応じて適切な応答を生成しました。
収集されたデータの全体的な品質を評価するために、自動評価とユーザー評価が実施されました。
両方の評価の結果は、会話における高いレベルの自然さ、関与性、流暢性、一貫性、関連性、および共感的な応答を提供するロボットの能力を示しました。
このデータセットは、個人情報を提供し、実際の感情を伝えた参加者を含む、ロボットとの本物のやりとりから得られたものであることは注目に値します。

要約(オリジナル)

The integration of conversational agents into our daily lives has become increasingly common, yet many of these agents cannot engage in deep interactions with humans. Despite this, there is a noticeable shortage of datasets that capture multimodal information from human-robot interaction dialogues. To address this gap, we have developed a Personal Emotional Robotic Conversational sYstem (PERCY) and recorded a novel multimodal dataset that encompasses rich embodied interaction data. The process involved asking participants to complete a questionnaire and gathering their profiles on ten topics, such as hobbies and favourite music. Subsequently, we initiated conversations between the robot and the participants, leveraging GPT-4 to generate contextually appropriate responses based on the participant’s profile and emotional state, as determined by facial expression recognition and sentiment analysis. Automatic and user evaluations were conducted to assess the overall quality of the collected data. The results of both evaluations indicated a high level of naturalness, engagement, fluency, consistency, and relevance in the conversation, as well as the robot’s ability to provide empathetic responses. It is worth noting that the dataset is derived from genuine interactions with the robot, involving participants who provided personal information and conveyed actual emotions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google