Human-Robot Interaction Conversational User Enjoyment Scale (HRI CUES)

要約

ユーザーの楽しみを理解することは、特にソーシャル ロボットとの会話のコンテキストにおいて、インタラクションの品質に影響を与え、ユーザーの受け入れとロボットとの長期的な関与に影響を与える可能性があるため、ヒューマン ロボット インタラクション (HRI) において非常に重要です。
しかし、現在の評価方法は自己申告のアンケートのみに依存しており、相互作用のダイナミクスを捉えることができません。
この研究では、ロボットとの会話中のユーザーの楽しさを外部の視点から評価するための新しい尺度であるヒューマン・ロボット・インタラクション会話ユーザー楽しさスケール (HRI CUES) を導入します。
関連する専門知識を持つ 3 人のアノテーターによる厳密な評価と議論を通じて開発されたこのスケールは、全体的な対話レベルとともに各会話交換 (ターン) の楽しさを評価するための構造化されたフレームワークを提供します。
ユーザーの自己申告による楽しみを補完することを目的としており、リアルタイム HRI でユーザーの楽しみを自律的に特定できる可能性を秘めています。
このスケールは、174 分のデータに相当する会話用の大規模言語モデルを搭載したコンパニオン ロボットとの 25 人の高齢者によるオープンドメインの対話で検証され、中程度から良好な整合性が示されました。
データセットはオンラインで入手できます。
さらに、この研究は、ロボットとのインタラクションにおけるユーザーの楽しさを評価する際のニュアンスと課題を理解するための洞察を提供し、この尺度を他の領域に適用するためのガイドラインを提供します。

要約(オリジナル)

Understanding user enjoyment is crucial in human-robot interaction (HRI), as it can impact interaction quality and influence user acceptance and long-term engagement with robots, particularly in the context of conversations with social robots. However, current assessment methods rely solely on self-reported questionnaires, failing to capture interaction dynamics. This work introduces the Human-Robot Interaction Conversational User Enjoyment Scale (HRI CUES), a novel scale for assessing user enjoyment from an external perspective during conversations with a robot. Developed through rigorous evaluations and discussions of three annotators with relevant expertise, the scale provides a structured framework for assessing enjoyment in each conversation exchange (turn) alongside overall interaction levels. It aims to complement self-reported enjoyment from users and holds the potential for autonomously identifying user enjoyment in real-time HRI. The scale was validated on 25 older adults’ open-domain dialogue with a companion robot that was powered by a large language model for conversations, corresponding to 174 minutes of data, showing moderate to good alignment. The dataset is available online. Additionally, the study offers insights into understanding the nuances and challenges of assessing user enjoyment in robot interactions, and provides guidelines on applying the scale to other domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google