Towards Objective Evaluation of Socially-Situated Conversational Robots: Assessing Human-Likeness through Multimodal User Behaviors

要約

この論文は、社会的に位置する会話ロボットを評価するという困難な課題に取り組み、マルチモーダルなユーザー行動に依存する新しい客観的な評価アプローチを提示します。
この研究では、主な評価指標としてロボットの人間らしさを評価することに主に焦点を当てています。
これまでの研究ではユーザーの主観的な評価に頼ることが多かったですが、私たちのアプローチは、観察可能なユーザーの行動に基づいてロボットの人間らしさを間接的に評価し、客観性と再現性を高めることを目指しています。
まず、傾聴対話コーパスで見つかったユーザーの行動を利用して、人間らしさスコアの注釈付きデータセットを作成しました。
次に、マルチモーダルなユーザーの行動と人間らしさスコアの間の相関関係を決定する分析を実施し、提案した行動ベースの評価方法の実現可能性を実証しました。

要約(オリジナル)

This paper tackles the challenging task of evaluating socially situated conversational robots and presents a novel objective evaluation approach that relies on multimodal user behaviors. In this study, our main focus is on assessing the human-likeness of the robot as the primary evaluation metric. While previous research often relied on subjective evaluations from users, our approach aims to evaluate the robot’s human-likeness based on observable user behaviors indirectly, thus enhancing objectivity and reproducibility. To begin, we created an annotated dataset of human-likeness scores, utilizing user behaviors found in an attentive listening dialogue corpus. We then conducted an analysis to determine the correlation between multimodal user behaviors and human-likeness scores, demonstrating the feasibility of our proposed behavior-based evaluation method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google