Rating Prediction in Conversational Task Assistants with Behavioral and Conversational-Flow Features

要約

会話型タスク アシスタント (CTA) の成功を予測することは、ユーザーの行動を理解し、それに応じて行動するために重要です。
この論文では、CTA シナリオでのユーザー評価を予測するために、会話フロー機能とユーザー行動特徴を組み合わせた Transformer モデルである TB-Rater を提案します。
特に、新しいマルチモーダルでマルチターンの会話コンテキストである Alexa TaskBot チャレンジで収集された実際の人間とエージェントの会話と評価を使用します。
私たちの結果は、オフライン評価予測のために単一のモデルで会話の会話フローと行動の両方の側面をモデル化することの利点を示しています。
さらに、CTA 固有の動作特徴の分析により、この設定に関する洞察がもたらされ、将来のシステムのブートストラップに使用できます。

要約(オリジナル)

Predicting the success of Conversational Task Assistants (CTA) can be critical to understand user behavior and act accordingly. In this paper, we propose TB-Rater, a Transformer model which combines conversational-flow features with user behavior features for predicting user ratings in a CTA scenario. In particular, we use real human-agent conversations and ratings collected in the Alexa TaskBot challenge, a novel multimodal and multi-turn conversational context. Our results show the advantages of modeling both the conversational-flow and behavioral aspects of the conversation in a single model for offline rating prediction. Additionally, an analysis of the CTA-specific behavioral features brings insights into this setting and can be used to bootstrap future systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google